MIT News - Artificial intelligence
·
新方法可能提高大型语言模型（LLM）的训练效率
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。测试结果显示，训练速度提高了70%至210%，同时保持准确性。这项研究有望降低高级LLMs的开发成本和能耗。
🎯
关键要点
- 研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。
- 新方法在多个推理LLM上测试，训练速度提高了70%至210%，同时保持准确性。
- 该研究有望降低高级LLMs的开发成本和能耗，适用于金融趋势预测和电网风险检测等应用。
- 推理LLM能够识别和纠正其推理过程中的错误，使用强化学习（RL）进行训练。
- 生成多个答案的过程（称为rollout）消耗了RL训练所需执行时间的85%。
- 研究人员使用了一种称为投机解码的现有技术来加速训练过程。
- 研究人员创建了一个灵活的系统，称为“驯服长尾”（Taming the Long Tail，TLT），以适应性地训练drafter模型。
- TLT的第一个部分是自适应drafter训练器，利用空闲处理器的时间动态训练drafter模型。
- TLT在多个推理LLM上测试，训练加速效果显著，且小型drafter模型可用于高效部署。
- 研究人员希望将TLT集成到更多类型的训练和推理框架中，并寻找新的强化学习应用。
➡️
