审计本地解释的困难之处
内容提要
该研究探讨了机器学习模型的可解释性，发现线性模型比BERT模型更易于操控。提出了一种基于诚实度的局部元解释技术，以增强用户个性化解释。研究评估了解释系统与预测准确性之间的关系，强调准确性比可解释性更重要，并指出不同子组的解释质量存在公平性挑战。
延伸解读
线性与BERT模型的可解释性差异
文章指出，在给定特征系数的情况下，人们能更有效地操纵线性词袋模型，而解释对BERT型分类器并没有显著提高操纵能力。但通过伪造BERT模型的线性模型对全局归属的解释，则可以有效地操作BERT型模型。这表明不同模型架构对解释的响应不同，线性模型的解释更直接可用，而复杂模型如BERT需要借助代理模型或全局解释才能实现有效操纵。
局部解释评估的“责怪问题”
文章提到，对于局部模型无关解释的评估方法，除了基于可解释模型的地面真实性评估外，其他评估方法都存在“责怪问题”。这意味着许多评估方法可能将模型预测的错误归咎于解释本身，导致评估结果有偏差。即使基于可解释模型的地面真实性评估方法也存在局限性，局部解释的评估仍是一个未解决的研究问题。
准确性与可解释性的权衡
研究表明，在机器学习中，准确度比可解释性更重要，添加解释可能会损害用户信任，同时高度真实的解释不能欺骗用户的信任，用户的信任感与其实际表现不符。这提示我们，在追求可解释性时，不能忽视模型准确性，且解释的呈现方式可能对用户信任产生复杂影响，需要谨慎设计。
解释质量的公平性挑战
文章通过在金融、医疗保健、大学招生和美国司法系统等四个领域的实际数据中审计不同保护子组的解释质量，发现不同子组的近似质量显著不同，解释深度学习模型的近似质量差异存在着公平性挑战，需要进一步解决。这意味着解释系统可能对不同群体产生不一致的解释质量，可能加剧不公平，因此在部署解释系统时需关注其公平性。
Q&A
为什么线性模型比BERT模型更易于操控？
线性模型在给定特征系数的情况下，能够更有效地进行操控，而BERT模型的解释并没有显著提高操控能力。
什么是基于诚实度的局部元解释技术？
基于诚实度的局部元解释技术是一种增强用户个性化解释的方法，旨在提高复杂机器学习系统的可解释性。
研究中提到的解释系统与预测准确性之间的关系是什么？
研究强调准确性比可解释性更重要，且解释系统的有效性与预测准确性存在一定的权衡关系。
不同子组的解释质量存在哪些公平性挑战？
研究发现不同子组的解释质量显著不同，存在公平性挑战，需要进一步解决这些差异。
如何提高机器学习模型的可解释性？
可以通过采用基于诚实度的指标和局部元解释技术来提高机器学习模型的可解释性。
研究中提到的用户信任与模型表现之间的关系是什么？
研究表明，用户的信任感与模型的实际表现不符，添加解释可能会损害用户的信任。
