极坐标系统在大型语言模型中的语法表示

本研究解决了大型语言模型中的句法表示不足的问题，提出了“极坐标探针”方法来同时考虑词嵌入之间的距离和方向，从而更全面地获取句法关系类型与方向。研究发现，该方法不仅能显著优于传统的结构探针，而且在最新的语言模型中，该极坐标系统的解释能力更强，揭示了 LLMs 如何自发地学习表示语言理论中的主要符号结构。