训练开销比：大型语言模型训练系统的实用可靠性指标
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对大型语言模型（LLM）训练过程中缺乏可靠性评估指标的问题，提出了一种新的可靠性指标——训练开销比（TOR）。TOR通过比较最优训练时间与实际训练时间，帮助用户更准确地估算在特定系统上训练LLM所需的实际时间。此外，研究还识别了提高可靠性的关键因素，并为各种实际遇到的故障提出了TOR公式。
通过分析不同预训练模型的能力表现，确认了不同大小的模型在训练动态上展示相似性。复现了Amber和OpenLLaMA，并发布了它们的中间检查点，为研究界提供资源。提供了不同模型和能力的性能比较以及训练阶段的关键指标指导。提供了评估优化状态的策略，为建立稳定的预训练流程提供指导。
