Phi-3 技術報告:在您的手機上本地運行的功能強大的語言模型
原文中文,约400字,阅读约需1分钟。发表于: 。介绍了 phi-3-mini 语言模型,它是一个 38 亿参数的模型,使用 33 万亿标记进行训练,通过学术基准和内部测试的综合表现与 Mixtral 8x7B 和 GPT-3.5 等大型模型相媲美,尽管这个模型足够小而可以在手机上运行。这个创新完全依赖于用于训练的数据集,是 phi-2...
phi-3-mini是一个38亿参数的语言模型,使用33万亿标记进行训练。该模型在学术基准和内部测试中表现出色,足够小可以在手机上运行。训练数据集是phi-2数据集的扩大版本,由经过过滤的网络数据和合成数据组成。文章还提到了模型的鲁棒性、安全性和聊天格式,并提供了7B和14B模型的初始参数缩放结果。