LLM 驱动的机器人存在歧视、暴力和非法行为风险
内容提要
本研究探讨了大型语言模型（LLMs）在社交机器人中的应用，涵盖教育、医疗和娱乐等领域。研究表明，LLMs在沟通行为选择和意图判断方面表现良好，但在判断人机行为差异上存在不足。文章还讨论了LLMs对人类价值和劳动力市场的影响，以及其伦理挑战和社会影响，强调需要进行监管和设计正义方法的应用。
延伸解读
语言歧视：多语言支持下的不一致风险
文章指出，由于训练数据分布不均，LLMs在不同语言下对相同任务的响应存在显著差异。例如，对英语、法语等语言的查询，模型的人类对齐能力更强，有害查询越狱成功率平均低1.04%；而英语、丹麦语等语言的响应质量更高，平均F1得分为0.1494。这种语言歧视可能导致服务不公平，尤其影响低资源语言用户。提出的LDFighter机制通过相似度投票，能降低越狱概率并提升响应质量，为缓解该问题提供了可行方向。
伦理挑战：社交机器人中的幻觉与偏见放大
将LLMs整合到社交机器人中，除了常见的错误信息和偏见外，机器人的物理社交化特征可能加剧伦理危害。例如，LLM的幻觉和错误信息在物理交互中可能因社会知觉影响而更严重。研究采用设计正义方法，通过共同设计和交互研究识别出交互、共同设计、服务条款和关系四个维度的伦理考虑。这提示开发者需在设计和部署中纳入多方参与，以应对这些独特的伦理风险。
人机难辨：真实性识别准确率仅42%的警示
在Mastodon平台的实验中，参与者识别其他用户真实性的准确率仅为42%，且角色选择对感知的影响比主流LLM的选择更大。这表明LLM驱动的社交机器人可能难以被察觉，加剧了虚假信息传播和信任危机。同时，研究强调公平AI的必要性，但现有公平性技术框架在应用于LLMs时存在局限，需结合上下文、开发者责任和利益相关者参与来制定公平标准。
性能与局限：LLMs在社交机器人中的不完整建模
实验显示，LLMs在三个社交数据集上能达到与定制模型相当的性能，可集成到社交机器人的规划过程中。然而，LLMs在判断人机行为差异方面表现不佳，视觉模型也无法完全抓住视频刺激的本质。此外，在对话系统中，LLM可能出现自我重复或虚构信息，破坏对话连贯性。这些限制表明，LLMs为人类建模提供了一种有前途但不完整的方法，需进一步优化。
Q&A
大型语言模型在社交机器人中有哪些应用领域？
大型语言模型在教育、医疗和娱乐等领域的社交机器人中有广泛应用。
LLMs在判断人机行为差异方面存在哪些不足？
LLMs在判断人机行为差异方面表现不佳，无法完全理解人机互动的复杂性。
如何解决LLMs中的语言歧视问题？
研究提出了一种基于相似度的投票机制LDFighter，以减轻LLMs中的语言歧视。
LLMs对人类价值和劳动力市场的影响是什么？
LLMs可能影响人类价值观和劳动力市场，带来伦理挑战和社会影响。
在社交机器人中使用LLMs面临哪些伦理挑战？
使用LLMs的社交机器人面临错误信息、偏见和情绪干扰等伦理挑战。
研究中如何评估LLMs的对话系统性能？
研究通过志愿者与社交机器人对话的实验，分析参与者的反馈和对话记录。
