经济生产力的规模法则：关于大型语言模型辅助翻译的实证证据
内容提要
本文研究了神经比例定律在自然语言处理中的应用，提出了SCALE框架，通过结合专用翻译模型和大型语言模型，显著提升了多语言神经机器翻译的效果，尤其在低资源环境中表现优异。此外，研究探讨了预训练数据选择对模型性能的影响，为未来模型开发提供指导。
延伸解读
从预测到优化：缩放定律的实用价值
文章指出，神经比例定律不仅用于预测模型性能，还能加速开发、优化模型选型和收敛调试。这意味着在实际研发中，团队可以利用缩放定律提前评估不同规模模型的潜力，减少试错成本，更高效地分配计算资源。
SCALE框架：低资源翻译的新思路
SCALE将紧凑的专用翻译模型与通用大语言模型结合，通过三元组上下文演示释放LLM的完善能力，减轻语言偏见。在低资源场景下，它显著优于少样本GPT-4和专用模型，且无需微调LLM，为低资源语言翻译提供了实用方案。
微调策略：扩大模型尺寸比增加数据更有效
研究表明，LLM微调遵循幂函数乘法联合缩放规律，扩大模型尺寸比扩大预训练数据尺寸对微调更有益。但最优微调方法因任务和微调数据而异，这提示开发者在资源有限时，应优先考虑模型规模而非数据量。
时间缩放定律：学习在时间维度上均匀
文章提出时间缩放定律，发现语言模型在不同令牌位置上的学习是均匀的，尽管存在损失不平衡。这一发现深化了对预训练语言模型的理解，为未来模型训练和评估提供了新的理论视角。
Q&A
神经比例定律在自然语言处理中的应用是什么？
神经比例定律可用于模型性能预测、加速开发、优化模型选型和收敛调试。
SCALE框架如何提升翻译效果？
SCALE框架结合了专用翻译模型和大型语言模型，显著提升了低资源环境中的翻译效果。
在Xhosa到英语的翻译中，SCALE的表现如何？
SCALE通过一个仅包含600M参数的紧凑模型获得了显著的BLEURT和COMET评分提升。
预训练数据选择对模型性能有什么影响？
预训练数据的选择和大小对下游性能有显著影响，选择适当的预训练数据是关键。
LLM微调方法的缩放因子对性能有什么影响？
LLM微调方法的缩放因子对模型性能有显著影响，扩大模型尺寸比扩大预训练数据尺寸更有益。
时间缩放定律是什么？
时间缩放定律研究了语言模型在时间维度上的损失，发现学习是均匀的。
