通过多令牌预测实现更好、更快的大型语言模型
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
本文探讨了大型语言模型在逻辑等效代码选择任务中的表现，发现其效果不佳。为改善性能，提出了“下一个标记预测 +”的预训练任务，结果在逻辑等效代码选择和代码补全任务中显著提升。同时，研究显示大型语言模型在时间序列预测中表现出色，能够处理缺失数据并解释预测结果。
🔎
延伸解读
逻辑等效代码选择：LLM的短板与新预训练任务
文章指出，当前大型语言模型在逻辑等效代码选择任务上表现不佳，说明它们对代码逻辑的真正理解仍有局限。为此，作者提出“下一个标记预测+”预训练任务，实验证明该任务能显著提升逻辑等效代码选择和代码补全的效果。这提示我们，针对逻辑理解设计预训练目标可能比单纯扩大数据规模更有效。
时间序列预测：LLM的意外能力与局限
将时间序列编码为数字字符串后，LLM可进行零样本外推，性能媲美专用模型。其优势源于能自然表示多模态分布，并处理缺失数据、容纳文本边信息。但模型增大不一定更好：GPT-4因数字令牌化方式和不确定性校准较差，在某些情况下反而不如GPT-3，这可能与RLHF等对齐干预有关。
多语言与跨语言：LLM的泛化表现
文章提及多个研究显示，LLM在多语言任务上表现与专用模型相当，且能在少量英语样本下预测非英语样本，跨语言泛化显著优于随机。这表明LLM的预训练已隐含跨语言能力，但具体效果受任务和提示方案影响，需结合场景评估。
❓
Q&A
大型语言模型在逻辑等效代码选择任务中的表现如何？
大型语言模型在逻辑等效代码选择任务中表现不佳。
如何改善大型语言模型的性能？
提出了“下一个标记预测 +”的预训练任务来改善模型性能。
大型语言模型在时间序列预测中表现如何？
大型语言模型在时间序列预测中表现出色，能够处理缺失数据并解释预测结果。
增加模型大小对时间序列性能有什么影响？
通常增加模型大小会提高时间序列的性能，但在某些情况下，GPT-4的表现不如GPT-3。
什么是“下一个标记预测 +”预训练任务？
这是一个新的预训练任务，旨在改善大型语言模型在逻辑等效代码选择和代码补全任务中的性能。
大型语言模型如何处理缺失数据？
大型语言模型能够自然处理缺失数据而无需插补。
🏷️
