本研究提出了BioVFM-21M数据集，涵盖多种生物医学图像，探讨模型扩展对任务性能的影响。BioVFM模型在12个医学基准测试中超越了现有最佳模型。

DeepSeek-V3采用MoE架构，通过256个路由专家和1个共享专家实现高效扩展，动态路由提升处理效率，使模型在计算成本不显著增加的情况下具备强大能力。

本文研究了神经比例定律在自然语言处理中的应用，探讨了模型扩展对核心能力的影响。研究发现，减少模型大小会显著降低事实回忆能力，但对上下文处理影响较小。同时，提出了计算最优的扩展策略，显著提高了模型在复杂提示上的表现，并强调了利用中间检查点提高预测准确性的重要性。

本文介绍了多种基于Transformer的模型扩展方法，如SLED、PEGASUS-X和Unlimiformer，旨在高效处理长输入序列，尤其在长文本摘要任务中表现优异。这些模型无需大量参数或并行训练，同时研究了无位置编码（NoPE）在长度泛化中的应用，并提出了改进方法以提升性能。这些创新为自然语言处理领域提供了新的解决方案。

本文探讨了大型语言模型（LLM）的扩展规律，提出在特定推理需求下，训练更小且更长的模型比Chinchilla-optimal更有效。研究表明，模型大小和训练数据应等量缩放，以优化计算效率。较小模型在每次迭代中执行更快，而大型模型则更具鲁棒性。此外，研究分析了计算预算对模型性能的影响，强调超网络和专家混合模型在不同预算下的优势。

本文提出了一种新的方法，通过将大型语言模型（LLM）与人类认知信号进行桥接，评估LLM在模拟认知语言处理方面的有效性。实验结果表明，模型扩展与LLM-脑信号相似性呈正相关，对齐训练可以显著提高LLM-脑信号相似性。