💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
北京大学团队提出的新稀疏注意力机制HISA，速度提升2-4倍，几乎不损失精度。该机制通过块级粗过滤和块内精挑字符，降低索引器成本，适应超长文本需求，工程友好性强。测试结果显示HISA在速度和精度上表现优异，未来可进一步优化块特征计算和训练方式。
🎯
关键要点
- 北京大学团队提出的新稀疏注意力机制HISA，速度提升2-4倍，几乎不损失精度。
- HISA通过块级粗过滤和块内精挑字符，降低索引器成本，适应超长文本需求。
- HISA在DeepSeek-V3.2和GLM-5上替换索引器，无需微调，精度与原方法持平。
- HISA的核心思路是先按块筛选，再在小块中精细选字符，降低索引器的搜索成本。
- HISA的复杂度从O(L²)降至O(L²/B + L×m×B)，提高了处理效率。
- 在64K长度文本下，HISA比原DSA索引器最高提速3.75倍，常规设置提速2倍以上。
- HISA在长文本理解和关键信息检索任务中表现优异，精度几乎与DSA相同。
- HISA对超参数选择不敏感，鲁棒性强，工程落地时无需精细调参。
- 未来HISA可改进块的自适应性、筛选与模型训练结合，以及测量端到端性能。
- 论文由北京大学张牧涵团队撰写，张牧涵为人工智能研究院助理教授。
❓
延伸问答
HISA机制的主要优势是什么？
HISA机制的主要优势在于速度提升2-4倍，几乎不损失精度，并且可以无缝替换原有索引器，无需重新训练。
HISA是如何降低索引器成本的？
HISA通过块级粗过滤和块内精挑字符的方式，先筛选出相关块，再在小块中精细选字符，从而降低了索引器的搜索成本。
HISA在长文本处理中的表现如何？
HISA在长文本理解和关键信息检索任务中表现优异，精度几乎与原DSA相同，且在64K长度文本下提速最高可达3.75倍。
HISA对超参数的敏感性如何？
HISA对超参数选择不敏感，表现稳定，工程落地时无需进行精细调参。
HISA的复杂度相比于原索引器有何变化？
HISA的复杂度从O(L²)降至O(L²/B + L×m×B)，显著提高了处理效率。
未来HISA有哪些改进方向？
未来HISA可改进块的自适应性、筛选与模型训练结合，以及测量端到端性能。
➡️
