认知校准与真理空间探索
内容提要
DALL-E 2是一种将文本转化为图像的AI系统，展示出令人印象深刻的创造力和对色彩和构图的掌控。与其他现代系统相比，如Midjourney v6，它能产生详细逼真的图像，但缺乏同样程度的创造力和多样性。这种差异可能归因于训练数据集和偏好调整等因素。人类倾向于喜欢明亮和详细的图像，导致模型产生超详细和超丰富色彩的输出。通过强化学习等偏好调整方法，在模型的输出空间中创建吸引子，从而产生有偏差的输出。为了克服这些限制，正在探索一种新的范式，即直接操纵模型内部特征空间中的概念，以实现更多的控制和多样性。
延伸解读
偏好调整如何导致输出同质化
文章指出，人类在比较图像时倾向于选择更明亮、更详细的版本，这导致经过偏好调整的模型（如Midjourney）输出超详细、超丰富色彩的图像。这种调整通过强化学习在输出空间中创建“吸引子”，使模型倾向于生成“安全”但缺乏多样性的结果。相比之下，未经过偏好调整的DALL-E 2保留了更多创造性和多样性。
基础模型与偏好调整模型的本质区别
基础模型是“认知校准的世界模型”，其输出概率准确反映训练数据中概念和风格的频率。而经过偏好调整的模型则转变为“贪婪的奖励寻求者”，其唯一目标是生成能获得高评分的输出，不再准确反映现实。这种转变导致模型输出空间中出现吸引子，降低了多样性和创造性。
直接操纵概念空间：一种潜在解决方案
文章提出一种新范式：直接操纵模型内部特征空间中的概念，而不是通过偏好调整来改变模型行为。这种方法允许从基础模型中直接采样所需输出，避免模式崩溃，同时保留模型的多样性和创造性。尽管仍处于早期研究阶段，但这种方法有望实现更可控、更多样化的AI输出。
Q&A
DALL-E 2与Midjourney v6有什么主要区别？
DALL-E 2在色彩和对比度的使用上更具创造性，通常专注于单一主题，而Midjourney v6则偏向于细节丰富和具体的图像。
为什么DALL-E 2的输出更具多样性和创造性？
DALL-E 2没有经过偏好调整，训练数据集也不同，这使得它的输出更能反映多样性和创造性。
偏好调整对AI模型的影响是什么？
偏好调整使得模型趋向于某些“安全”选项，降低了输出的多样性和创造性，导致模型输出变得单一。
如何通过直接操纵模型特征空间来提高输出的多样性？
通过直接从模型的概念空间中提取所需的输出，可以避免偏好调整带来的限制，从而实现更多的控制和多样性。
人类偏好如何影响AI图像生成模型的训练？
人类倾向于选择明亮和详细的图像，这影响了模型的训练，使其输出趋向于超详细和超丰富色彩的结果。
什么是机制引导（mechanistic steering）？
机制引导是一种新兴的交互范式，允许直接操纵模型内部特征空间中的概念，以实现所需的输出，而不需要偏好调整。
