评估与语言机器人互动的标准：以尊重为视角
内容提要
本文综述大型语言模型代理的社会科学潜力，主张关注代理本身而非仅以人为中心的对齐。研究涵盖：在对话代理中贯彻人类价值观与对话规范；模型展现类人社交行为及差异，需完善评估协议；梳理歧视、错误信息、自动化等风险；通过语义上下文学习、两阶段生成与知识库结合提升共情回应；赋予代理处理多方社交干扰的能力；用模型仿真研究新闻推送算法对在线对话质量的影响；让模型从模拟社交互动中学习社会规范；以及建模个体以增强真假信息区分能力。
延伸解读
从“对齐人类”转向“理解代理”
文章主张大型语言模型代理的研究不应只停留在以人为中心的对齐，而应更关注代理本身。这意味着评估标准需要同时考察代理在社交互动中表现出的类人行为与差异，而非仅用人类价值观作为唯一标尺。这一视角为社会科学介入代理研究提供了空间，也提示评估协议需直接针对代理行为设计。
共情回应依赖方法组合而非单一提示
在提升对话代理的共情能力上，文章提出语义上下文学习、两阶段交互生成以及与知识库结合三种改进方法，并称实验在自动与人工评估中达到先进水平。这表明共情回应不是靠单一提示就能稳定获得，而是需要结合上下文理解、分阶段生成和外部知识。读者可关注这些方法如何影响评估的一致性。
仿真研究揭示算法对对话质量的潜在影响
文章利用大型语言模型和基于代理的仿真，研究新闻推送算法如何影响在线对话质量，发现推送算法能促进跨政治观点的建设性、非有害对话。这一发现将算法设计与对话质量联系起来，但结论来自仿真环境，读者需注意其与现实平台行为的差距，不宜直接外推为实际政策建议。
风险梳理与评估协议仍需完善
文章总结了大型语言模型可能面临的歧视、错误信息、自动化等风险，并指出模型在社交行为上既类人又存在差异，因此需要进一步研究和发展评估协议。这意味着当前评估尚不足以直接支撑用模型模拟人类行为的应用。读者应关注风险场景的构建与评估协议的直接性，而非仅看模型表现。
Q&A
大型语言模型代理的研究为什么强调要关注代理本身，而不仅仅是以人为中心的对齐？
文章主张大型语言模型代理应关注不仅限于“以人为中心”的对齐或应用，而应更加关注代理本身，并探讨社会科学在代理中的潜力。
大型语言模型在社交互动中表现出哪些特点，为什么需要新的评估协议？
大型语言模型在与人类和其他代理交互时展现出一系列人类类似的社交行为，同时也存在行为差异，因此需要进一步研究和发展评估协议，以直接应用这些模型来模拟人类行为。
大型语言模型可能带来哪些风险？文章提出了哪些应对方向？
文章总结了大型语言模型可能面临的各种风险，如歧视、错误信息、自动化等，并提出了应对方法和未来研究方向。
如何提升大型语言模型生成共情回应的能力？
研究提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。实验证明这些方法能显著改善模型性能，在自动评估和人工评估方面达到最先进水平。
新闻推送算法如何影响在线对话质量？研究发现了什么？
研究使用大型语言模型和基于代理模型的仿真来研究不同新闻推送算法对在线对话质量的影响，发现新推送算法能够促进跨政治观点的建设性、非有害对话。
大型语言模型如何学习社会规范并区分真实与虚假信息？
文章提出一种新的训练范式，让模型从模拟社交互动中学习，从而更好地符合社会规范和价值观；同时，模型可以通过建模具有真实性特征的个体来聚类真实文本，并利用数据中的分层结构学习抽象概念，从而扩展对真实与虚假信息的区分能力。
