走向人工智能与人类的思辨：基于 LLM 驱动的辩论人工智能在人工智能辅助决策中的设计和评估
内容提要
本文探讨了人类中心的大型语言模型（LLMs）评估，提出心理模型、用例价值和认知参与三个研究重点。研究表明，AI与人类在决策中具有互补技能，强调交互式人工智能决策辅助系统的设计能提高决策准确性和可靠性。同时，研究揭示了LLMs在写作和法律领域的应用及其局限性，强调人类在高风险决策中的重要性。
延伸解读
人机互补：协作决策的潜力与边界
文章指出，AI与人类在小组决策中具有互补技能，尤其在涉及风险与探索利用过程时。通过对话环境收集的人人对话基线，以及带缺陷AI代理与人类团队的实验，研究验证了前景理论、影响动态和贝叶斯学习等社会认知构建的价值。这表明，人机协作并非简单替代，而是通过共识最大化整体回报，但需注意AI代理的缺陷可能影响团队判断。
交互式辅助：何时提供建议更有效
文章提出交互式人工智能决策辅助系统的设计，通过学习人类选择来决定何时提供算法支持。在美国刑事司法系统的前期释放审判实验中，交互式辅助系统能在必要时提供准确建议，相比固定非交互式系统显著提高人类决策水平。其优势还包括促进人类学习、保护决策者补充优势以及促进对建议的更积极响应。这提示，动态交互比静态建议更能适应高风险任务。
法律领域的警示：AI建议的局限与偏见
文章发现，在保释决策中，AI建议并未提高法官的分类准确性，单独AI决策通常比人类决策（无论是否辅助AI）表现更差。更值得关注的是，相比白人被捕者，AI建议对非白人被捕者更频繁地强制缴纳保释金，显示出偏见。这强调，在高风险决策中，人类仍需保持最终决策权，并警惕算法建议可能加剧不平等。
LLM评估新视角：心理模型、用例价值与认知参与
文章提出以人类为中心的LLM评估应关注心理模型、用例使用价值和认知参与三个研究重点。通过比较人类分析师与LLM在分类和推理能力上的显著差异，以及LLM在辩论中的限制和对人类的影响，研究揭示了二者合作可能产生协同效应。这为未来评估LLM在专业领域（如法律、写作）的应用提供了结构化框架，强调需结合领域知识负责任地转化设计要求。
Q&A
大型语言模型（LLMs）在决策中如何与人类互补？
研究表明，AI与人类在小组决策中具有互补技能，能够提高决策的准确性和可靠性。
交互式人工智能决策辅助系统的设计有什么优势？
交互式系统通过学习人类的选择来提高决策准确性，促进人类学习，并能在必要时提供准确建议。
在法律领域中，人工智能的建议对决策准确性有何影响？
研究发现，人工智能的建议并未提高法官的决策准确性，且在对非白人被捕者的保释建议中存在偏见。
如何评估大型语言模型的理解能力？
通过比较人类分析师与LLMs的分类和推理能力，发现二者存在显著差异，但合作可能产生协同效应。
人类在高风险决策中扮演什么角色？
在高风险任务中，人类仍然作出最终决策，AI的建议并未显著提高决策的准确性。
如何提高大型语言模型在写作中的应用效果？
通过引导和选择模型输出的交互方法，可以最大化人类的控制感和写作效果。
