生成的自由文本理由在主观决策中的说服力：一项关于两两论证排名的案例研究
内容提要
本文探讨了大型语言模型的可解释性和实用性，提出了自动化评分系统GEN-U来评估其帮助性。研究发现，众包工作者更倾向于基于知识的解释，尽管模型生成的解释更受欢迎，但需提升简明性和新颖性。研究旨在提高生成解释的可信度。
延伸解读
GEN-U评分系统的设计目标
文章提出的GEN-U是一个自动化评分系统，旨在衡量大型语言模型生成的解释在无人参与情况下对人类实际使用的帮助性，同时尽量保持任务绩效。这回应了LLM虽能生成流畅文本，但在知识密集型任务中提供有根据解释的能力仍未被充分探索的问题。GEN-U试图为解释的实用性提供可量化的评估手段，而非仅依赖主观判断。
人类偏好与模型解释的差距
研究发现，众包工作者更偏好基于知识的解释，认为其具有实际性、充分性和全面的反驳。尽管大型语言模型生成的解释更受欢迎，但在简明性和新颖性上仍需提升。这表明模型解释在受青睐的同时，存在可读性和创新性不足的短板，可能影响其在实际决策中的说服力。
错误预测对信任的削弱
文章指出，错误模型预测的解释会削弱人类对大型语言模型生成解释的信任。这意味着解释的可信度不仅取决于其本身质量，还与模型预测的准确性紧密相关。一旦预测出错，即使解释看似合理，也可能降低用户对系统的整体信任，因此审查预测并消除潜在错误决策至关重要。
两阶段流程的提出
基于上述观察，研究创建了一个两阶段的流程：在生成解释之前，先审查任务预测并消除潜在的错误决策，以实现可信赖的解释生成。这一设计将预测审查与解释生成分离，旨在从源头上减少错误预测对解释可信度的负面影响，为提升生成解释的可信度提供了结构化方案。
Q&A
大型语言模型的可解释性问题是什么？
大型语言模型在生成有根据的解释方面的能力尚未得到充分探索，尤其是在知识密集型任务中。
GEN-U评分系统的目的是什么？
GEN-U评分系统旨在衡量大型语言模型生成的解释在无人参与情况下的人类实用性。
众包工作者更倾向于哪种类型的解释？
众包工作者更倾向于基于知识的解释，因为它们具有实际性、充分性和全面的反驳。
模型生成的解释需要改进哪些方面？
模型生成的解释需要提升简明性和新颖性。
错误模型预测对信任的影响是什么？
错误模型预测的解释会削弱人类对模型生成解释的信任。
研究如何提高生成解释的可信度？
研究通过审查任务预测并消除潜在错误决策来实现可信赖的解释生成。
