超越 Chinchilla-Optimal:考虑推理在语言模型扩展规律中的影响

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现,具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。

🏷️

标签

➡️

继续阅读