ZETA：利用 Z 曲线实现高效的 Top-k 注意力

本研究解决了 Transformer 在自注意力过程中的计算和内存成本随序列长度呈二次增长的问题，特别是在长序列应用中。提出的 ZETA 方法通过借助 Z 曲线实现了对过去 token 的并行查询，显著提高了 Top-k 注意力的训练效率，同时在性能上与标准自注意力相当，并在多项语言建模任务中表现优异。