当大数据实际上是低秩的，或者是某个函数生成的矩阵的逐个近似
内容提要
本文研究了通过对两个m维变量的光滑函数进行采样生成的矩阵的低秩逼近。作者否定了先前文献中的一个论点，并提出了三个更窄的函数类别，可以在与维度m无关的情况下以逐个元素误差逼近。作者还将论点扩展到了由m维变量的多线性积生成的张量的低秩张量列逼近。
延伸解读
对既有论点的修正
文章指出，先前文献中关于特定类别解析函数生成的矩阵可以独立于维度m进行准确逐元素秩逼近的论点被否定。作者从理论上解释了支持该论点的数值结果，并明确了该论点不成立的原因。这一修正提醒读者，在低秩逼近中，函数的光滑性并不自动保证逼近精度与维度无关，需要更细致的函数分类。
更窄的函数类别与逼近保证
作者提出了三个更窄的函数类别，对于这些类别，由函数生成的n×n矩阵可以在与维度m无关的情况下，以O(log(n)ε^(-2) polylog(ε^(-1)))的逐元素误差进行逼近。这意味着，尽管一般光滑函数可能无法实现维度无关的逼近，但在这些受限类别中，低秩逼近仍然有效。这为实际应用提供了理论指导，即需要根据函数的具体性质来判断低秩逼近的可行性。
向张量情形的扩展
文章将论点扩展到了由m维变量的多线性积生成的张量的低秩张量列逼近。这表明，对于张量数据，类似的维度无关逼近性质也可能在特定条件下成立。这一扩展丰富了低秩逼近的理论框架，并为处理高维张量数据提供了新的视角，尤其是在需要控制逼近误差与维度关系时。
与Transformer注意力的关联
作者在Transformer神经网络的注意力低秩逼近背景下讨论了研究结果。注意力机制通常涉及高维矩阵运算，低秩逼近是提升计算效率的常用手段。本文的理论分析有助于理解在何种条件下注意力矩阵可以被有效低秩逼近，以及逼近误差如何随维度变化，从而为模型设计和优化提供参考。
Q&A
什么是低秩逼近？
低秩逼近是指通过对矩阵或张量进行简化，使其秩降低，从而在保持重要信息的同时减少计算复杂度。
本文提出了哪些新的函数类别？
本文提出了三个更窄的函数类别，使得生成的矩阵可以在与维度m无关的情况下以逐个元素误差逼近。
作者如何否定先前文献中的论点？
作者否定了先前文献中关于特定类别解析函数的论点，认为这些矩阵可以独立于m进行准确的逐个元素的秩逼近。
研究结果在Transformer神经网络中有什么应用？
研究结果在Transformer神经网络的注意力低秩逼近的背景下进行了讨论，表明其在深度学习中的潜在应用。
低秩逼近的逐个元素误差是如何计算的？
逐个元素误差的计算涉及到O(log(n)ε^(-2) polylog(ε^(-1)))的复杂度，确保在与维度m无关的情况下进行逼近。
本文扩展了哪些内容到张量的低秩逼近？
作者将论点扩展到了由m维变量的多线性积生成的张量的低秩张量列逼近。
