低秩近似、适应及其他故事

本文研究了通过对两个m维变量的光滑函数进行采样生成的矩阵的低秩逼近，并提出了三个更窄的函数类别以逐个元素误差逼近。还将论点扩展到了由m维变量的多线性积生成的张量的低秩张量列逼近。讨论了结果在Transformer神经网络的注意力低秩逼近中的应用。