跨抽象层次对齐机器与人类视觉表征
内容提要
本研究探讨深度神经网络与人类认知的对齐，发现训练数据集和目标函数对模型表现影响显著。提出“Re(presentational)Al(ignment)Net”模型，强调视觉模型与人脑活动的相似性，揭示人类与AI在图像处理上的差异，并指出改进AI可解释性和可靠性的必要性。
延伸解读
训练数据与目标函数比模型规模更关键
文章指出，模型规模和架构对人机表示对齐没有实质性影响，而训练数据集和目标函数的影响更大。这意味着，提升AI与人类认知的相似性，应优先考虑数据质量、多样性以及优化目标的设计，而非单纯扩大模型参数。这一发现为AI对齐研究提供了明确的方向。
语言信息促进更接近人类的视觉表示
研究发现，从文本和图像数据中联合训练得到的表示，优于仅从图像中训练的表示。这强调了语言在塑造人类认知中的作用，也提示多模态训练有助于AI形成更接近人类的视觉理解。对于开发更鲁棒、更通用的视觉模型，融入语言信号可能是一条有效路径。
人机对齐与鲁棒性呈U形关系
AI系统的世界表示与人类的相似度呈现U形关系，即相似度极高或极低的模型都可能表现不同。高度相似的模型在少量数据、对抗攻击和领域转换方面更具鲁棒性和泛化能力。这表明人类对齐通常是模型充分利用有限数据、实现鲁棒泛化的充分但不必要条件。
DNN视觉特征强于语义特征，与人脑存在分歧
通过可比较的表示框架，研究发现DNN在图像处理中视觉特征明显优于语义特征，而人类则不同。这揭示了人机在图像表示策略上的重大差异。尽管DNN的某些维度看似可解释，但直接比较表明两者处理图像的方式存在本质区别，这对AI可解释性提出了挑战。
Q&A
什么是Re(presentational)Al(ignment)Net模型？
Re(presentational)Al(ignment)Net模型是一个与人类大脑活动对齐的视觉模型，显示出更高的相似性。
训练数据集和目标函数对深度神经网络的表现有什么影响？
训练数据集和目标函数对模型表现影响显著，而模型规模和架构的影响较小。
深度学习模型从文本和图像数据中训练的优势是什么？
深度学习模型从文本和图像数据中训练得到的表示方式优于仅从图像中训练的方式，强调了语言在塑造人类认知中的作用。
AI系统与人类的世界表示相似度呈现什么样的关系？
AI系统的世界表示与人类的相似度呈现U形关系，高度相似的模型在少量数据和领域转换方面更具鲁棒性。
研究中发现的神经网络表示的线性转换有什么作用？
神经网络表示的线性转换有助于提高与人类相似性判断的一致性。
人类与深度神经网络在图像处理上有哪些差异？
人类与DNN在图像处理上存在差异，DNN在视觉特征上明显优于语义特征。
