谷歌研究人员提出大型语言模型的贝叶斯教学方法

谷歌研究人员提出了一种训练方法，使大型语言模型通过学习最佳贝叶斯系统的预测来近似贝叶斯推理。

该方法旨在改善模型在多步交互中更新信念的能力。

研究表明，语言模型在与用户互动时未能有效更新用户偏好。

通过贝叶斯教学训练，模型的预测能力得到了改善，接近贝叶斯助手的决策水平。

研究团队创建了一个模拟航班推荐任务来评估语言模型的表现。

实验中，贝叶斯助手在选择正确选项时的准确率约为81%。

语言模型的表现较差，且在第一次交互后改进有限，未能有效更新用户偏好的内部估计。

研究测试了一种称为贝叶斯教学的训练方法，模型通过模仿贝叶斯助手的预测进行训练。

贝叶斯教学方法的训练结果优于其他方法，模型的预测更接近贝叶斯助手。

社区对谷歌研究的反应积极，评论者强调了LLM在概率推理和多轮适应方面的改善。

研究者将该方法描述为一种模型蒸馏形式，神经网络学习近似实现贝叶斯推理的符号系统的行为。

结果表明，语言模型可以通过后期训练获得概率推理技能，展示出在序列交互中的最佳决策策略。