宝玉的分享 ·

利用语言模型模拟观众，让人际沟通更上一层楼 [译]

💡 原文中文，约38800字，阅读约需93分钟。

📝

内容提要

文章讨论EGS框架的扩展方向：支持人机协作审查、多轮对话模拟（用束搜索控制候选规模）和可扩展的情节式未来思考；探讨模拟精细度需在准确复现场景与LLM可理解性间平衡；提出用反事实推理回溯分析过往沟通，并应用于人类研究设计与RLHF。文章还指出LLM可共享跨文化沟通经验，但存在被滥用于钓鱼诈骗、社会偏见及高成本加剧不平等等风险，建议使用前仔细验证。

🔎

延伸解读

模拟精度与实用性的权衡

文章指出，模拟观众时需在准确复现场景与让LLM易于理解之间找到平衡。过于详细的个性化设定可能偏离常见情况，反而降低模拟准确性；而细节不足又可能无法捕捉关键因素。这一权衡直接影响EGS框架的实用效果，用户需根据具体场景调整模拟粒度。

非常规建议的双刃剑效应

EGS鼓励生成非常规建议以拓宽思路，实验显示其在部分场景中能提升沟通效果，甚至产生最佳候选方案。但这类建议也导致人类评价者之间以及人类与模型之间的一致性降低，增加预测难度。在讨价还价场景中，包含非常规建议的候选方案评分反而较低，提示需谨慎评估其适用性。

多轮对话扩展的可行性与挑战

文章提出将EGS扩展至多轮对话的两种路径：整体模拟对话结束后评估，或每轮重新搜索。后者能动态调整策略但计算成本高，可能不适合实时交流。为控制候选方案数量，可引入束搜索，在每几轮后筛选部分最优候选继续，平衡效果与效率。

应用潜力与风险并存

EGS可帮助人们获取跨文化沟通经验，并应用于人类研究设计和RLHF。然而，文章也警示其可能被滥用于钓鱼诈骗，且模型可能继承社会偏见。此外，高使用成本（每个场景每个模拟观众约15美元）可能加剧不平等。作者建议使用前仔细验证输出，并开源代码以促进可及性。

❓

Q&A

EGS框架具体包含哪些步骤？每个步骤的作用是什么？

EGS框架包含三个步骤：1）探索：利用LLM生成一系列多样化的建议，包括常规和非常规的，以拓宽备选方案的视野；2）生成：基于这些建议，组合成不同的建议集，为每个候选消息设定条件，生成多个具体的沟通方案；3）模拟：让LLM模拟不同观众角色对每个候选方案的反应，通过成对比较和加权汇总，选出最有可能实现沟通目标的最佳方案。

EGS框架在实验中表现如何？与GPT-4零样本和思维链方法相比有什么优势？

在八个沟通场景的人类评价中，EGS选出的信息在所有场景中都优于GPT-4零样本方法，平均得分高出0.94分（提升17.1%）；在五个场景中超过了思维链方法，平均高出0.55分（提升9.3%）。此外，EGS在所有场景中的得分均超过5分（积极影响），而两个基线方法未能全部达到。EGS还能提供易于理解的解释和备选方案。

EGS模拟的观众反应与真实人类评价的一致性如何？

通过多层次模型分析，GPT-4的成对比较与人类评分存在显著正相关（系数0.427，p=0.041）。在八个场景中，有五个场景的一致性超过0.6（如飞机坠毁、产品发布、咖啡师、分享秘密、婚姻争吵），当仅考虑人类评分差异较大的情况时，四个场景的一致性达到0.8。但在约会应用和约会善意谎言场景中一致性低于0.5，表明模拟在涉及约会建议时存在困难。

使用EGS框架可能存在哪些风险或局限性？

EGS可能被滥用于制作更具迷惑性的网络钓鱼邮件，提高诈骗成功率；可能继承LLM的社会偏见，影响决策公平性；高使用成本（每个场景每个模拟观众约15美元）可能加剧社会不平等；模拟精细度需在准确复现场景与LLM可理解性间平衡；在约会等主观场景中模拟一致性较低；非常规建议可能引发人类评价者之间更大的分歧。建议使用前仔细验证输出。

EGS框架如何扩展到多轮对话模拟？

通过扩展生成步骤，EGS可以模拟多轮对话（缩写变为EGG…GS），在对话结束时模拟受众对整个对话的反应，并找到每个发言环节或整个对话的最佳建议。也可以设计每轮都重新搜索的版本（EGEG…EGS），但可能不适合实时通讯。为应对候选方案数量随对话长度增加的问题，可以在每几轮生成后加入模拟步骤，每次只保留部分最优候选继续，相当于在对话中加入束搜索。

EGS框架可以应用于哪些实际场景？请举例说明。

EGS适用于任何需要与观众沟通并实现特定目标的场景，例如：航空公司发言人在飞机失事后的媒体应对、公司CEO发布新产品、讨价还价、咖啡师与顾客互动、分享秘密以加深友谊、撰写约会应用个人简介、约会中说善意的谎言、解决婚姻争执等。此外，还可用于模拟Reddit用户偏好（如法律咨询、烹饪问答等论坛），以及辅助人类研究设计和RLHF中的反馈模拟。

🏷️