人类反馈的最佳设计
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文分析了大型语言模型（LLMs）在对齐和评估中的偏好差异，指出人工反馈的局限性和偏见。研究提出了新的算法和框架，通过优化反馈和数据处理来提高模型性能，并强调未来研究需关注偏好得分的可靠性和一致性。
🔎
延伸解读
人工反馈的偏差与局限
文章指出，人工反馈在评估大型语言模型时存在主观性和偏差，偏好得分未能充分捕捉事实性等关键特性。研究发现，输出的肯定性会使事实错误的感知率产生偏倚，表明人工标注并非完全可靠的评估度量或训练目标。这提醒我们，在依赖人工反馈时需警惕其潜在偏差。
偏好优化方法的理论进展
文章探讨了强化学习从人类反馈（RLHF）和直接偏好优化（DPO）的近似假设，并提出了新的通用目标ΨPO，能够绕过这些近似。通过将Ψ设置为Identity，可以得到一种有效的优化过程，并在实验中优于DPO。这为偏好学习提供了更深入的理论理解。
交互式框架提升摘要性能
文章介绍了一个交互式框架，通过优化离线数据和新型奖励模型，以少量交互式反馈训练摘要模型，提高了ROUGE得分和采样效率。该框架在活动、少量交互式学习和在线学习场景下均具优势，为高效利用人工反馈提供了实用方案。
❓
Q&A
大型语言模型（LLMs）在对齐和评估中存在哪些偏好差异？
研究发现人类和人工智能注释者之间的偏好存在显著差异，影响了对大型语言模型的对齐和评估。
人工反馈在评估大型语言模型性能时存在哪些局限性？
人工反馈可能主观且存在偏差，未能充分捕捉重要特性如事实性，导致评估不可靠。
如何通过优化反馈和数据处理提高模型性能？
研究提出了新的交互式框架，通过优化离线数据和奖励模型，以少量交互式反馈训练模型，从而提高性能。
直接偏好优化（DPO）方法的主要依赖是什么？
DPO方法依赖于假设，即可以用点奖励替代成对偏好，这一假设对其有效性至关重要。
新提出的评估算法有什么优势？
新评估算法能够更高效地预测历史日志数据中的点击数，实验结果显示其性能优于先前的估计器。
协同偏好完成问题的高效算法是如何工作的？
该算法利用有限观测值进行个性化排名的联合估计，鼓励低秩参数以提高计算效率。
🏷️
