两个模型的共同思考因素
内容提要
本研究引入度量学习编码模型（MLEMs），探讨其在语言特征提取中的优势。研究表明，MLEMs能够有效解耦语言特征，优于传统方法，并能更好地预测神经表示。此外，语言模型与人脑在语言处理上存在相似性，但在情感理解和比喻处理等方面存在差异，需进一步优化模型以提高一致性。
延伸解读
MLEMs的方法优势
度量学习编码模型（MLEMs）在从BERT提取神经表示以跟踪语言特征时，相比多变量解码方法更稳健于Ⅰ类错误，相比单变量编码方法能同时预测局部和分布式表示。这为研究语言模型内部语言特征的神经编码提供了更可靠的工具，并可推广至视觉等其他领域和神经系统。
语言特征的分层组织
研究发现语言特征在BERT中按层次组织：不同层次中句子的表示有不同程度的分离，某些层次中表示被嵌套在更大的表示群集中，遵循连续重要的语言特征；中间层次则解耦语言特征，不同特征激活不同单位。这揭示了语言模型处理语言时的结构化机制。
模型与大脑的相似与差异
随着LLMs在基准任务上性能提高，其分层特征提取路径与大脑映射更密切，且使用较少层进行相同编码。但语言模型并未很好捕捉情感理解、比喻语言处理和物理常识，针对这些现象细化调整后，模型与大脑反应更一致，表明差异可能源于对这些特定知识的不足表示。
研究现状与局限
一项调查超过30个研究、10个数据集和8个测量方法的综述指出，大脑和语言模型激活虽有一些结构相似性，但现有证据还不充分，需要更多研究。这提示当前关于模型与大脑一致性的结论仍具探索性，读者应关注后续更严格的验证。
Q&A
度量学习编码模型（MLEMs）有什么优势？
MLEMs能够有效解耦语言特征，优于传统的多变量解码方法和单变量编码方法，并能更好地预测神经表示。
语言模型与人脑在语言处理上有哪些相似性和差异？
语言模型与人脑在语言处理上存在共同的计算原理，但在情感理解和比喻处理等方面存在明显差异。
如何优化语言模型以提高与人脑的反应一致性？
通过针对情感理解、比喻语言处理和物理常识等现象进行模型优化，可以提高语言模型与人脑反应的一致性。
研究发现语言模型在处理语言时的共同计算原理是什么？
研究表明，语言模型在处理语言时与人类存在共同的计算原理，但在获取和使用语言方面存在明显差异。
上下文信息在语言模型性能中起什么作用？
上下文信息在提高模型性能和与大脑相似性方面非常重要。
研究中提到的传统方法与MLEMs的比较结果如何？
研究表明，MLEMs在解耦语言特征和预测神经表示方面优于传统的多变量解码和单变量编码方法。
