本研究提出了一种基于大型语言模型的词典嵌入方法（LENS），该方法通过词元嵌入聚类和双向注意力机制，解决了传统模型在词元化冗余和单向注意力方面的不足，并在大规模文本嵌入基准测试中表现优于密集嵌入。

该文从马尔可夫链视角研究Transformer的序列建模能力，探讨数据分布、模型结构与性能的关系；分析大语言模型对上下文外词汇的表示，发现意外词元会降低模型对自身信息的关注（尤其在高层次）；并指出双向注意力可视为堆叠与混合的MoE，揭示其处理异构数据的有效性及词嵌入线性类比的局限。