当大数据实际上是低秩的,或者是某个函数生成的矩阵的逐个近似

💡 原文中文,约2000字,阅读约需5分钟。
📝

内容提要

本文研究了通过对两个m维变量的光滑函数进行采样生成的矩阵的低秩逼近。作者否定了先前文献中的一个论点,并提出了三个更窄的函数类别,可以在与维度m无关的情况下以逐个元素误差逼近。作者还将论点扩展到了由m维变量的多线性积生成的张量的低秩张量列逼近。

🎯

关键要点

  • 本文研究了通过对两个m维变量的光滑函数进行采样生成的矩阵的低秩逼近。
  • 否定了先前文献中关于特定类别解析函数的论点,认为这些矩阵可以独立于m进行准确的逐个元素的秩逼近。
  • 提出了三个更窄的函数类别,使得生成的矩阵可以在与维度m无关的情况下以逐个元素误差逼近。
  • 扩展了论点至由m维变量的多线性积生成的张量的低秩张量列逼近。
  • 在Transformer神经网络的注意力低秩逼近的背景下讨论了研究结果。
🏷️

标签

➡️

继续阅读