大型语言模型作为优秀的反馈提供者：利用自生成反馈提升谎言检测的推理能力
内容提要
本文研究大型语言模型（LLMs）在协商游戏中的自主改进能力，探讨其推理能力和对误导性指令的抵抗力。通过多轮游戏和反馈，模型的谈判策略得以迭代改进。同时，提出了一种评估模型真相检测能力的新方法，发现某些模型在识别欺骗语言方面表现优异，为人类真相检测提供支持。
延伸解读
多轮协商中的自主改进机制
文章通过让GPT和Claude在协商游戏中扮演不同角色，以交易价格作为评估指标，进行多轮迭代。模型利用先前的谈判历史和AI反馈作为上下文演示，逐步优化谈判策略。这种设置展示了LLMs在无人类干预下通过自我反思和批判实现自主改进的潜力，为后续研究提供了初步探索。
推理脆弱性与误导性指令抵抗
研究发现，尽管ChatGPT等模型能生成正确解决方案，但在面对荒谬的无效论据时，它们无法保持对真理的信仰。为此，文章提出INDust基准评估LLMs抵抗误导性指令的能力，并引入Self-Critique prompting方法，在零样本和小样本环境下均能有效提升模型对归纳指令的处理能力。
谎言检测与人类协作可能
基于电视游戏节目数据，文章发现基于LLM的检测器模型在真相检测上表现出与人类相似的能力，并能识别人类无法察觉的欺骗语言线索。此外，通过黑盒检测器分析LLM在事实问题下的回答模式，发现其存在与说谎相关的行为模式，可用于通用目的的说谎检测，为算法与人类协作增强真相检测提供了可能。
批评、纠正与可靠性提升
CriticBench评估显示，批评训练能显著增强模型性能，逻辑导向任务更易纠正，且强模型在批评弱模型时表现更好，而弱模型在自我批评上可能超过强模型。RLKF框架利用知识反馈动态确定知识边界，训练可靠奖励模型以鼓励拒绝超出知识范围的问题，显著提高LLM可靠性。SaySelf框架则通过强化学习校准置信度，降低校准错误并保持任务性能。
Q&A
大型语言模型如何在协商游戏中自主改进？
大型语言模型通过多轮游戏和反馈，迭代改进其谈判策略，利用先前的谈判历史和AI反馈作为上下文。
INDust基准的目的是什么？
INDust基准旨在评估大型语言模型抵抗误导性指令的能力，并提出防范措施。
MINT基准测试如何提升大型语言模型的性能？
MINT基准测试通过工具交互和自然语言反馈来评估和提升大型语言模型在多回合交互任务中的表现。
如何检测大型语言模型的说谎行为？
通过黑盒检测器和逻辑回归分类器分析模型的回答，发现与说谎相关的行为模式。
CriticBench评估了哪些方面的性能？
CriticBench评估了17个大型语言模型在生成、批评和纠正推理中的性能，发现批评训练显著增强模型能力。
RLKF框架的主要功能是什么？
RLKF框架通过知识反馈动态确定模型的知识边界，并训练可靠的奖励模型以提高模型的可靠性。
