对话中的推理：通过大型语言模型的模拟解决主观任务
内容提要
本文综述大语言模型在推理与对话任务中的进展与不足，提出强化学习优化交互示例、RCI执行计算机任务、LoGiPT模拟逻辑求解器及多模型辩论提升数学与策略推理，评估发现模型逻辑推理较弱、对话摘要事实不一致率高、理解能力有限，需通过逻辑训练和多任务微调改进。
延伸解读
逻辑推理短板与训练策略
文章指出，大语言模型在逻辑推理方面存在缺陷，容易产生反事实答案。为应对这一问题，研究者提出多种策略赋予模型逻辑推理能力，并构建了综合数据集LMM-LR进行评估和预训练。定量与定性分析验证了逻辑训练的有效性和必要性，为后续工作提供了启示。
对话理解的事实一致性挑战
通过对话摘要任务评估对话理解性能时，研究发现大多数LLMs生成的摘要中有27%的事实不一致，即使最强模型ChatGPT也有16%的错误摘要。在更具挑战性的事实问答中，所有评估的LLMs平均准确率仅为62.8%。分析表明，对话主题或客体的理解仍是主要难点，而通过自动构建多任务数据进行微调，可在DIAC-FactQA上获得8.9%的准确率提升。
多模型辩论与交互优化
文章提到，通过多个语言模型实例的反复辩论和推理过程，可以达成共同最终答案，从而改善数学和策略推理表现，减少虚假答案和幻觉现象。此外，利用强化学习优化交互示例，能在教学和偏好引导等目标导向对话任务中实现最新性能，展示了交互式方法在提升模型推理能力方面的潜力。
Q&A
大型语言模型在逻辑推理方面存在哪些主要缺陷？
大型语言模型在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。此外，与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。
如何提升大型语言模型的逻辑推理能力？
可以通过多种策略赋予大型语言模型逻辑推理能力，例如使用逻辑训练，并构建综合数据集（LMM-LR）进行评估和预训练。此外，LoGiPT模型通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，在竞争的语言模型上表现出优异的性能。
大型语言模型在对话理解任务中的表现如何？
评估结果表明，大多数LLMs生成的摘要中有27%的事实不一致，即使最强模型ChatGPT也有16%的错误摘要。对于更具挑战性的事实问题回答，所有评估的LLMs的平均准确率仅为62.8%。详细分析表明，LLMs对话理解能力中最令人挑战的问题仍然是对话的主题/客体的理解。
有哪些方法可以改善大型语言模型的对话理解能力？
提出了一种通过自动构建多任务数据进行微调的范式，实验结果显示该方法在DIAC-FactQA上获得了8.9%的准确率提升。此外，通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，可以改善语言响应的表现，特别是在数学和策略推理方面，改善了虚假答案和幻觉现象。
大型语言模型在目标导向对话任务中如何优化交互能力？
通过使用强化学习进行交互式对话的目标导向任务，利用大型语言模型生成可能的交互示例，再通过强化学习算法优化这些示例，以实现更优化的交互能力，从而在教学和偏好引导等不同目标导向对话任务中实现了最新的性能。
大型语言模型在计算机任务自动化方面有什么进展？
展示了一种使用RCI方法来自然语言执行计算机任务的代理方法，此方法能够显著提高计算机任务的自动化表现，优于现有的自然语言处理方法，并在自然语言推理任务中表现出较好的推理能力。
