基于聚类敏感性采样的数据高效学习：基础模型与扩展
内容提要
本文综述聚类与子集选择研究，涵盖：ℓ_p子空间嵌入灵敏度取样的新边界；利用聚类构建数据表示并分析样本复杂度与VC维；结合不确定性与多样性进行子集选择；引入区间估计以抵抗误标噪声；基于基础模型与聚类选择主动学习初始样本；将k-means重写为熵正则最优传输；分析谱聚类对边缘扰动的稳健性；提出连续采样求解k-median；并指出数据选择有时优于全样本训练。
延伸解读
理论进展：灵敏度取样的新边界
文章指出，针对ℓ_p子空间嵌入的灵敏度取样，研究提供了新的理论边界，为许多具有小ℓ_p灵敏度的结构矩阵给出了目前已知最佳的样本复杂度。这意味着在特定矩阵结构下，数据选择所需的样本量可能比以往理论保证的更少，为高效学习提供了更紧的保证。
聚类与子集选择的融合方法
文章综述了多种将聚类与子集选择结合的方法：利用聚类构建数据表示并分析样本复杂度与VC维；结合不确定性与多样性进行子集选择；以及将k-means重写为熵正则最优传输。这些方法表明，聚类不仅能用于无监督学习，还能作为数据选择的有效工具，提升学习效率。
鲁棒性与主动学习的改进
针对误标噪声，文章提到引入区间估计以更好地探索被误标但实际正确的数据，提高学习鲁棒性。同时，将基础模型与聚类结合用于主动学习初始化样本，能有效定位信息丰富的初始样本。这些策略有助于在噪声环境和有限标注下提升模型性能。
数据选择有时优于全样本训练
文章通过数值实验和理论推导表明，数据选择可以非常有效，某些情况下甚至能击败在整个样本上训练。同时指出，一些常见的数据选择方法（如无偏加权子抽样或基于影响函数的子抽样）可能明显不够优化。这提示读者，合理的数据选择策略可能比使用全部数据更高效。
Q&A
ℓ_p子空间嵌入的灵敏度取样有什么新的理论边界？
该研究为ℓ_p子空间嵌入的灵敏度取样提供了新的理论边界，为许多具有小ℓ_p灵敏度的结构矩阵提供了最佳已知的样本复杂度。
如何利用聚类构建数据表示并分析其样本复杂度？
提出一种协议，将用户提供的较小数据样本进行聚类，并在此基础上建立数据表示方法，通过此方法学习聚类表征，并分析其统计样本复杂度以及线性嵌入诱导的表征类的VC维，从而可以成功学习具有有限VC维的表征类。
基于深度学习的子集选择方法如何结合不确定性和多样性？
该方法通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。
如何提高误标噪声下的学习鲁棒性？
提出一种无标签学习的新方法，将区间估计引入样本选择过程，以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据，从而提高误标噪声下的学习鲁棒性。
基础模型与聚类如何结合用于主动学习初始化样本？
研究提出将基础模型与聚类方法相结合，用于选择主动学习初始化样本，实验证明这种方法可以有效地定位信息丰富的初始样本，从而提高模型性能。
将k-means重写为熵正则最优传输有什么优势？
通过将k-means聚类算法重写为最优传输任务并加入熵正则化，提出一种新方法，其中嵌入由深度神经网络执行，与现有的基于软k-means的最新方法相比，提供更好的无监督准确度，且不需要预训练阶段。
谱聚类对边缘扰动的稳健性如何？
通过对拉普拉斯特征值极小值的研究，以平均灵敏度为指标，探究了谱聚类方法对于边缘扰动的稳健性，研究结果表明，当输入图像存在簇结构时，谱聚类方法对于边缘扰动是稳定的。
连续采样技术如何用于求解k-median问题？
本文研究了基于k-median目标函数的聚类问题，提出了一种称为连续采样的简单但有效的采样技术，并使用该技术开发了一个可在O(nk)时间内运行的算法来解决k-median问题。
数据选择在什么情况下可以优于全样本训练？
通过在真实和合成数据的混合数值实验以及在低维和高维渐近情况下的数学推导，展示数据选择可以非常有效，某些情况下甚至可以击败在整个样本上进行训练；而某些常见的数据选择方法（如无偏加权子抽样或基于影响函数的子抽样）可能明显不够优化。
