HyperINF：释放Schulz方法在数据影响估计中的超能力
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了影响函数在大规模模型和数据集上的高计算成本问题，提出了一种新的影响函数近似方法HyperINF，利用Schulz迭代算法和广义Fisher信息作为Hessian矩阵的低秩近似。研究表明，HyperINF在准确性和稳定性上优于其他基线方法，能显著降低内存和计算开销，同时在LoRA调优模型上实现卓越的下游性能。
文章介绍了一种名为OrMachine的概率生成模型，用于布尔矩阵分解。该模型通过Metropolised Gibbs采样器实现高效并行后验推断，在真实和模拟数据上表现优于现有方法。它首次提供完整的后验推断，改善协同过滤中的假阳性率控制，并提高模式可解释性。算法可扩展至大型数据集，如分析鼠脑细胞的基因表达。
