2018年谷歌推出的BERT改变了自然语言处理。2024年，ModernBERT在小型语言模型上应用最新LLM技术，提升了参数效率和长文本处理能力。与jina-XLM-RoBERTa和RoBERTa-large相比，ModernBERT在代码理解和长文本处理上表现更佳，采用更深但更薄的架构，优化了词汇大小，提升了性能。