Scalable Multi-Stage Influence Functions via Eigenvalue-Corrected Kronecker Factorization Parameterization

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种多阶段影响函数,结合Kronecker因子化参数化,解决了大规模预训练语言模型的可扩展性问题。实证结果表明,该方法在模型预测解释方面表现优越。

🎯

关键要点

  • 本研究提出了一种多阶段影响函数,解决了大规模预训练语言模型的可扩展性问题。

  • 结合特征值校正的Kronecker因子化参数化,提高了计算效率。

  • 该方法在模型预测解释方面表现优越,具有良好的可扩展性和解释能力。

  • 归因于下游任务的预测,提供了对模型预测的重要见解。

➡️

继续阅读