Scalable Multi-Stage Influence Functions via Eigenvalue-Corrected Kronecker Factorization Parameterization
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种多阶段影响函数,结合Kronecker因子化参数化,解决了大规模预训练语言模型的可扩展性问题。实证结果表明,该方法在模型预测解释方面表现优越。
🎯
关键要点
-
本研究提出了一种多阶段影响函数,解决了大规模预训练语言模型的可扩展性问题。
-
结合特征值校正的Kronecker因子化参数化,提高了计算效率。
-
该方法在模型预测解释方面表现优越,具有良好的可扩展性和解释能力。
-
归因于下游任务的预测,提供了对模型预测的重要见解。
🏷️
标签
➡️