大模型内部有一个平面和直边构成的几何对象

💡 原文中文,约1300字,阅读约需3分钟。
📝

内容提要

该论文研究了大型语言模型中表示分类和层次概念的方法,发现语义中存在简单的几何结构。通过扩展线性表示假设,论文揭示了一个简单的几何结构。实验验证了理论结果,并讨论了相关工作和未来研究方向。