学习多维人类偏好的文本到图像生成
内容提要
本研究引入人类喜好数据集和偏好评分模型，以更准确评估文本到图像生成模型的质量。通过人类评分和分类器，提出了一种基于稳定扩散的方法，生成更符合人类审美的图像。同时，开发了ImageReward模型，成为文本到图像合成的有效评估标准。
延伸解读
评估指标从单一到多维的演进
文章梳理了文本到图像生成评估方法的演进脉络：从早期基于CLIP的相似度度量，到引入人类偏好数据的HPS v2、ImageReward、PickScore等模型，评估维度从单纯的图文匹配扩展到人类审美、组成性等多方面。这反映出该领域正试图解决自动指标与人类感知脱节的问题，但各指标侧重点不同，实际应用中需根据任务选择。
人类偏好数据集的构建与作用
文章提及多个基于人类反馈的数据集，如HPD v2、VisionPrefer、Pick-a-Pic等，它们通过收集评分或排名数据来训练奖励模型或评估指标。这些数据集为模型优化提供了监督信号，使生成结果更符合人类偏好。但数据集的规模、标注质量和覆盖范围会影响最终效果，且构建成本较高，这是实际应用时需要考虑的因素。
奖励模型与生成模型的闭环优化
ImageReward和PickScore等奖励模型不仅能评估生成质量，还可用于改进生成模型。例如，通过奖励模型对生成结果排序，可以微调稳定扩散等模型，使其输出更符合人类偏好。这种闭环优化思路在文章中多次出现，但需注意奖励模型本身可能存在偏差，过度优化可能导致生成多样性下降或过拟合特定偏好。
多模态大模型带来的新评估视角
文章提到LLMScore利用大语言模型进行多层次组成性评估，以及与人类评估更高的相关性。这显示多模态大模型在理解复杂语义和组合关系上具有潜力，可能弥补传统指标在细粒度评估上的不足。不过，这类方法依赖大模型的能力，计算成本较高，且其评估结果的可解释性仍需进一步验证。
Q&A
什么是人类喜好数据集 v2 (HPD v2)？
人类喜好数据集 v2 (HPD v2) 是用于更准确评估文本到图像生成模型质量的数据集。
ImageReward 模型的主要功能是什么？
ImageReward 是第一个通用的文本到图像人类偏好奖励模型，用于评估和改进文本到图像合成。
如何提高文本到图像生成模型的质量？
通过引入人类评分和偏好分类器，调整生成模型以更符合人类审美偏好，可以提高模型质量。
什么是 Preference Score（PS）？
Preference Score（PS）是一种新型的基于学习的评估指标，用于定量评估人类偏好。
Pick-a-Pic 数据集的用途是什么？
Pick-a-Pic 数据集用于收集来自文本到图像用户的大规模偏好数据，以训练评分函数。
LLMScore 如何评估文本到图像合成模型？
LLMScore 利用大语言模型提供多层次的组成性评估得分，与人类评估的相关性显著更高。
