草图时刻匹配：用于快速和可证明的细调数据选择
原文中文，约500字，阅读约需1分钟。发表于：。我们从基本角度重新审视现代环境下的数据选择问题，通过扩展低维度的方差最小化经典智慧到高维度的微调，我们的广义分析揭示了通过降低低秩逼近引起的偏差的重要性。受到理论上高维空间方差和偏差抵消的启发，我们引入了 Sketchy Moment Matching（SkMM），这是一种可扩展的数据选择方案，包括两个阶段：（i）首先，使用梯度草图来控制偏差，探索微调参数空间中具有信息量的低维子空间...
本文介绍了一种名为Sketchy Moment Matching（SkMM）的可扩展数据选择方案。SkMM使用梯度草图控制偏差，通过矩匹配减少方差，能够在高维空间中选择具有信息量的低维子空间。通过理论证明和合成实验，展示了SkMM在实际视觉任务中的快速和可靠性。
