本文介绍了利用Grover搜索算法计算稀疏注意力计算矩阵的方法,并在经典方法上实现了多项式量子加速。该算法输出的注意力矩阵具有低秩结构,有助于提高LLM训练算法的速度。同时,文章还对算法的错误分析和时间复杂度进行了详细分析。
完成下面两步后,将自动完成登录并继续当前操作。