AI 对齐的社会选择：应对多样化的人类反馈
内容提要
本文探讨了强化学习与大型语言模型的结合，强调透明投票规则和特定用户群体AI代理的重要性。研究呼吁关注互动AI的社会属性，以降低在线毒性和反社交行为的风险，并提出通过民主AI方法解决AI与人类价值观对齐的问题，促进财富公平分配和公众信任。
延伸解读
从RLHF到民主AI：对齐范式的扩展
文章梳理了RLHF在大型语言模型中的应用，并指出其局限。随后引入民主AI方法，通过强化学习设计社交机制，在参与者中探索价值观对齐。这显示对齐研究正从单纯技术优化转向融合社会选择机制，以缓解财富分配不均和搭便车行为，并赢得公众信任。
互动AI的“类社会”属性与风险
文章强调，大型语言模型在在线环境中会相互影响，形成新兴的人工智能主体性、关系和集体。这种互动AI具有“类社会”属性，可能扩大人类多样性范围，但也可能加剧在线毒性和反社交行为。因此，研究界需关注这些社会属性，以增加对人类社会和在线环境健康的回报并降低风险。
可靠人类反馈与奖励建模的挑战
文章指出，收集可靠人类反馈以训练奖励模型是改进总结模型的关键。然而，混合不同人类偏好数据集以增强奖励建模的方法可能失败。为此，研究提出MORE训练策略，通过自适应调整偏好目标来捕捉共享人类价值观，在奖励准确性和校准误差上表现更优。
同质化风险与个性化交互的平衡
文章通过贝叶斯框架揭示，当用户与生成AI合作时，个体决策与AI训练的相互作用可能导致社会性挑战，输出结果可能变得更加同质化，尤其当AI基于AI生成的内容训练时。解决同质化和偏见问题的方法在于改进人机交互，实现个性化输出而不损失生产力。
Q&A
AI如何与人类价值观对齐？
通过民主AI方法，使用强化学习算法设计社交机制来解决AI与人类价值观的对齐问题。
透明投票规则在AI代理中有什么重要性？
透明投票规则有助于建立特定用户群体的AI代理，确保AI行为的可控性和透明度。
如何降低在线毒性和反社交行为的风险？
通过研究互动人工智能的社会属性，增加其对人类社会的正面影响，从而降低在线毒性和反社交行为的风险。
什么是强化学习与大型语言模型的结合？
强化学习与大型语言模型的结合是指利用人类反馈来训练AI模型，以提高其在特定任务中的表现。
如何收集可靠的人类反馈以训练奖励模型？
通过设计有效的实验和交互平台，收集人类的决策过程来获取可靠反馈，从而训练奖励模型。
AI自我调节的机会和挑战是什么？
AI自我调节的机会在于提高其适应性，但面临的挑战包括道德问题和设计复杂性。
