基于BEST-RQ的线性复杂度注意力替代方法分析

BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

本研究提出了几种具有线性复杂度的新替代方案，用于解决自监督学习中的多头自注意力计算和内存消耗过大的问题。实验结果显示，这些替代方案在保持竞争性性能的同时，平均减少了20%至60%的内存消耗，并在处理输入序列时速度提升了7%至65%。