LLM显微镜：揭示标点在变压器上下文记忆中的隐含作用

本研究解决了大型语言模型（LLMs）在上下文信息存储中对某些小型标记（如标点符号、虚词）的低估问题。论文提出了一种新方法，通过分析发现删除这些标记会显著降低模型性能，同时开发了LLM显微镜工具包，以帮助评估标记级别的非线性特征，并可视化中间层的贡献。这一发现强调了这些看似无关的标记在维持上下文理解中的重要性。