Diogo指出Kaplan等人的Scaling Law存在技术缺陷,导致“参数越大越好”的错误结论。DeepMind的Chinchilla论文于2022年纠正了这一问题,提出了20:1的Token/参数最优比,促使行业转向更合理的训练策略。Meta的LLaMA系列和OpenAI的GPT-4等模型遵循这一原则,推动了AI训练方法的演变。虽然Diogo的文章有价值,但并非新发现,而是对已被纠正的技术偏差的回顾。
基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现,具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。
完成下面两步后,将自动完成登录并继续当前操作。