纷扰的细粒度反馈：超越赞 / 踩 —— 面向文本到图像生成的挑战
内容提要
本文探讨了利用人类反馈（RLHF）改进语言模型和图像生成模型的研究。研究表明，通过细化反馈，可以有效减少生成虚假和无关内容的问题，并显著提升模型的准确性和性能。同时，文章还讨论了偏好得分的主观性及其对模型评估的影响。
延伸解读
细粒度反馈如何提升模型表现
文章指出，细粒度的人类反馈能够针对长文本中的具体错误或无效信息进行训练，从而改善语言模型生成虚假、有毒、无关内容的问题。在文本到图像生成中，利用人类反馈对齐深度生成模型，可以显著提升生成对象在颜色、数量和背景等特征上的准确性。这表明，反馈的粒度越细，模型越能精准地修正特定缺陷，而非仅依赖整体偏好。
偏好得分的主观性与评估局限
文章强调，人工反馈中单一的偏好得分具有主观性，可能无法充分捕捉事实性等关键特性。研究发现，偏好得分覆盖面较好，但未充分表示重要方面，且可能受混杂因素影响。例如，输出的肯定性会使事实错误的感知率产生偏倚，表明人工标注并非完全可靠的评估度量或训练目标。因此，未来研究需仔细考虑偏好得分是否与期望目标一致。
反馈协议差异与对齐风险
文章分析发现，评分和排名所推断的偏好在人类和人工智能注释者中存在显著差异，揭示了对齐大型语言模型评估方法的关键缺陷和对反馈协议的强烈依赖。此外，使用人工反馈作为训练目标可能会不成比例地增加模型输出的肯定性。这提示我们，反馈协议的设计直接影响模型对齐效果，需警惕协议偏差带来的风险。
Q&A
细粒度反馈如何改善语言模型的输出质量？
细粒度反馈能够有效减少生成虚假、有毒和无关内容的问题，从而提升语言模型的准确性和性能。
人类反馈在文本到图像生成中的应用是什么？
人类反馈可以对齐文本到图像的深度生成模型，显著提升生成对象的准确性，确保生成的图像更符合指定特征。
偏好得分的主观性对模型评估有什么影响？
偏好得分被认为是主观的，可能存在偏差，未能充分捕捉生成输出的重要特性，如事实性。
如何通过人类反馈优化预训练语言模型？
可以通过三步学习算法，从自然语言反馈中学习，优化模型以获得人类水平的摘要能力。
FIGA方法在对齐学习中有什么创新？
FIGA方法通过细粒度质量信号指导大型语言模型的对齐学习，实验证明其有效性。
未来研究在使用人类反馈时需要考虑哪些问题？
未来研究需考虑偏好得分与目标的一致性，以及如何避免偏好得分对模型输出肯定性的过度影响。
