摆脱最大互信息:通过探测输入利用率实现合理化的新前沿

📝

内容提要

本文解决了当前合理化研究中从完整输入中提取关键理由的难题,指出了最大互信息(MMI)方法的边际收益递减问题。我们提出了一种新方法,通过分析输入在神经网络权重矩阵上的利用情况,以候选理由的范数作为目标,比MMI及其改进版本更有效地识别合理化理由,从而为解释性研究贡献了新的思路。

➡️

继续阅读