大规模语言模型的基于令牌的影响训练数据检索
内容提要
本文介绍了DataInf，一种高效的影响力近似计算方法，适用于大规模生成型AI模型。DataInf在计算和内存效率上优于现有算法，特别适合LoRA等微调技术。实证评估表明，DataInf能够准确识别影响最大的微调示例，并帮助发现错误标记的数据点。
延伸解读
DataInf 的核心优势
DataInf 通过闭合形式表达式实现高效的影响力近似，在计算和内存效率上显著优于现有算法。其理论分析表明，该方法特别适用于 LoRA 等参数高效微调技术，这为大规模生成式 AI 模型的影响力分析提供了实用工具。
实证表现与模型覆盖
在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 上的评估显示，DataInf 能准确识别影响最大的微调示例，并帮助发现错误标记的数据点。其速度比现有方法快几个数量级，且近似影响力分数更优。
与相关工作的关联
文章提及的 InFO-RAG、RR 等方法侧重于检索增强生成的不同方面，而 DataInf 聚焦于影响力近似计算。两者互补：DataInf 可用于数据清理和影响分析，而检索增强方法则优化生成过程。
Q&A
DataInf 是什么？
DataInf 是一种高效的影响力近似计算方法，适用于大规模生成型 AI 模型。
DataInf 相比于其他算法有什么优势？
DataInf 在计算和内存效率上优于现有的影响力计算算法，特别适合 LoRA 等微调技术。
DataInf 如何帮助识别错误标记的数据点？
DataInf 能够准确识别影响最大的微调示例，从而帮助发现错误标记的数据点。
在哪些模型中使用 DataInf 取得了良好效果？
DataInf 在 RoBERTa-large、Llama-2-13B-chat 和 stable-diffusion-v1.5 模型中表现优于其他方法。
DataInf 的实证评估结果如何？
实证评估表明，DataInf 能够准确近似影响力分数，并且比现有方法快几个数量级。
DataInf 适合哪些微调技术？
DataInf 特别适用于 LoRA 等参数效率高的微调技术。
