本文介绍了新型语言模型的进展，包括Phi-1、Phi-2和BTLM-3B-8K。Phi-1在多个基准测试中表现优异，参数较少；Phi-2在电信领域应用中与大型模型的准确性相当；BTLM-3B-8K在长上下文任务中表现突出，超越现有模型。此外，研究探讨了小型模型的优化策略和新评估方法，推动了语言模型的发展。

Phi-1是一种新的大型代码语言模型，使用60亿个标记的数据和GPT-3.5合成生成的教材进行了为期4天的训练，具有13亿个参数。Phi-1在HumanEval和MBPP上的准确率分别为50.6％和55.5％，并展示了令人惊讶的emergent属性。