使用人类反馈数据训练奖励函数来微调文本到图像模型，但过度优化奖励模型可能损害性能。引入Text-Image Alignment Assessment (TIA2)基准，评估了几个奖励模型，发现与人类评估不一致。提出TextNorm方法，通过语义对比的文本提示增强对齐，有效减少过度优化。在文本到图像对齐的人类评估中获得两倍胜利。

研究发现，使用175B参数的语言模型和人类反馈数据训练可以在模糊分类任务上接近或超过人类准确度。通过微调少量模糊上下文示例，可以显著提高没有大规模人类反馈训练的语言模型的准确性。这为教授模型有效处理模糊性问题提供了有希望的方向。

该研究评估了语言模型在模糊任务中的表现，并提出了新的测试集。175B参数的模型和使用人类反馈数据进行训练可以在模糊分类任务上超过或接近人类的准确度，但仅有其中一个是不足的。通过微调可以显著提高没有大规模人类反馈训练的语言模型的准确性，为教授模型有效地处理模糊性问题提供了有希望的方向。