纷扰的细粒度反馈：超越赞 / 踩 —— 面向文本到图像生成的挑战

Fine-Grained RLHF 框架能够改善语言模型生成过程中虚假、有毒、无关输出的问题。

通过人类反馈对齐文本到图像的 Deep generative model，可以显著提升生成对象的准确性。

结合文本到图像生成模型和人类反馈，能够提高图像生成质量，标记不真实或不对齐的图像区域。

偏好得分被认为是主观的，可能存在偏差，未能充分捕捉生成输出的重要特性，如事实性。

使用人工反馈作为训练目标可能会不成比例地增加模型输出的肯定性，未来研究需考虑偏好得分与目标的一致性。

研究综述了利用人类反馈提高自然语言生成的不同方法及其应用，探讨了反馈收集相关的数据集和问题。

提出了一种基于粗到细粒度的分类方法，实验证明在真实数据集上比零-shot 分类改进了性能。

FIGA 方法通过细粒度质量信号指导大型语言模型的对齐学习，实验证明其有效性。

新的框架通过人类反馈改进指导性视觉编辑，采用可扩展的扩散模型微调方法以处理数据限制带来的偏见。

分析反馈协议对大型语言模型的对齐和评估，发现评分和排名的偏好在人类和人工智能注释者中存在显著差异。