BriefGPT - AI 论文速递 · 2025-02-10T00:00:00Z

大语言模型中的系统异常值

📝

内容提要

本研究分析了大语言模型中的异常值问题，定义并分类了三种异常值，探讨其与注意力机制的关系。研究发现，异常值由softmax操作引起，作为上下文感知缩放因子，消除异常值可加速收敛并改善模型压缩。

🏷️

标签

softmax 大语言模型 异常值 模型压缩 注意力机制