维格纳曾惊叹数学能精准描述物理世界，如今类似悖论出现在大语言模型上：仅靠预测下一个词，模型内部却涌现出符号推理结构，其表征能与人类分类对齐。研究显示，模型追求极致压缩，人类则保留冗余细节。若语言只是随机拼贴，就不该包含重建思维结构的信号，但它确实包含了。

纽约大学研究者提出了一种名为REPA的技术，通过对齐自监督视觉表征与扩散Transformer，提升了扩散模型的训练效率和生成质量。REPA减少了迭代次数，尤其在无分类器引导下，生成质量达到最佳。该技术通过最大化预训练表征与隐藏状态的相似性，实现高效对齐。