MIT News - Artificial intelligence
·
新方法可能提高大型语言模型（LLM）的训练效率
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。测试结果显示，训练速度提高了70%至210%，同时保持准确性。这项研究有望降低高级LLMs的开发成本和能耗。
🎯
关键要点
-
研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。
-
新方法在多个推理LLM上测试，训练速度提高了70%至210%，同时保持准确性。
-
该研究有望降低高级LLMs的开发成本和能耗，适用于金融趋势预测和电网风险检测等应用。
-
推理LLM能够识别和纠正其推理过程中的错误，使用强化学习（RL）进行训练。
-
生成多个答案的过程（称为rollout）消耗了RL训练所需执行时间的85%。
-
研究人员使用了一种称为投机解码的现有技术来加速训练过程。
-
研究人员创建了一个灵活的系统，称为“驯服长尾”（Taming the Long Tail，TLT），以适应性地训练drafter模型。
-
TLT的第一个部分是自适应drafter训练器，利用空闲处理器的时间动态训练drafter模型。
-
TLT在多个推理LLM上测试，训练加速效果显著，且小型drafter模型可用于高效部署。
-
研究人员希望将TLT集成到更多类型的训练和推理框架中，并寻找新的强化学习应用。
❓
延伸问答
新方法如何提高大型语言模型的训练效率？
通过训练较小模型预测大型语言模型的输出，显著加速训练速度，节省计算资源。
这种新方法的训练速度提高了多少？
训练速度提高了70%至210%。
这项研究对大型语言模型的开发有什么影响？
有望降低开发成本和能耗，提升能效。
什么是“驯服长尾”系统？
这是一个灵活的系统，用于适应性地训练drafter模型，利用空闲处理器的时间。
强化学习在大型语言模型训练中的作用是什么？
强化学习用于训练推理LLM，使其能够识别和纠正推理过程中的错误。
小型drafter模型有什么优势？
小型drafter模型可以高效部署，且训练速度快。
➡️
