快速检查等效性：信息引导机制的可解释度度量
内容提要
本文综述多语种语音识别研究，涵盖代码切换、众包标注不一致性、分类器与人类评分比较、可解释性评估及公平性测试。提出音译与文本规范化方法，发布阿拉伯语/英语语料库；用CrowdTruth度量标注分歧；以调查等效性重估分类器准确度；发现心理物理学可评估可解释性；提出量化解释质量与信任度量；设计鲁棒评价指标；用语义相似性评估模型；提出等混乱公平测试与混淆平等误差，并开发KPI-Check自动识别金融同义词指标。
延伸解读
多语种语音识别中的代码切换与标注挑战
文章指出，多语种自动语音识别中的代码切换问题通过人工判断评价指标和音译、文本规范化方法得到优化，并发布了首个阿拉伯语/英语对话语境的人类接受度语料库。同时，CrowdTruth方法用于捕捉众包标注中的不一致性，通过度量标注者、输入数据和注释之间的相互依赖关系来解释不确定度。这些工作共同应对了多语种场景下数据标注和模型评估的复杂性。
分类器评估与可解释性度量的新视角
在调查设置中，文章提出将分类器准确度从混淆质量与人类评分一致性的惯常测量中重估为具有直观解释的测量，关键是将分类器与单个人类评级者比较，并定义调查等效性。此外，心理物理学技术可用于评估可解释计算机视觉算法的质量，而传统自动化指标不能提供一致的解释方法排名，强调了人机交互自然环境中评估解释能力的必要性。
公平性测试与金融KPI自动识别
针对自动化决策系统的公平性评估，文章提出了等混乱公平测试和混淆平等误差，并通过COMPAS案例研究证明了其效用。同时，KPI-Check工具利用BERT过滤和文本分类技术，自动识别金融报告中的同义词关键绩效指标，实现了高匹配性能，并已应用于全球性审计公司的财务报表审核工作。这些进展展示了AI在公平性和专业领域的实际应用。
Q&A
多语种语音识别中的代码切换问题有什么解决方案？
文章提出采用音译和文本规范化方法，并发布了第一个阿拉伯语/英语对话语境中人类接受度的语料库。
CrowdTruth metrics 是用来做什么的？
CrowdTruth metrics 是一种捕捉人群外包中标注者不一致性并对其进行解释的方法，通过度量 worker、输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉不确定度。
如何重估分类器的准确度以避免混淆分类器质量与人类评分一致性？
通过将分类器与单个人类评级者进行比较，而不是与评分者的大多数共识等最佳地面实况代理进行比较，从而将分类器准确度重估为具有直观解释的测量。
心理物理学方法如何用于评估可解释计算机视觉算法的质量？
研究发现经典的心理物理学方法可以用于机器学习应用程序中，而无需人为干预，但使用传统的自动化质量指标计算出的质量指标不能提供一致的解释方法排名，因此只有在人机交互的自然环境中评估才能获得真实的解释能力评估。
如何量化解释性方法的质量并检测人类决策是否过度偏向机器学习预测？
文章提出了一种量化解释性方法质量的量化度量，并通过众包实验中的信息传输速率得到实证证据；同时提出了一种信任度量，以检测人类决策是否过度偏向机器学习预测。
什么是等混乱公平测试和混淆平等误差？
等混乱公平测试是一种检查自动化决策系统公平性的新测试，混淆平等误差是一种量化任何不公平性程度的新误差。通过对 COMPAS 的案例研究证明了其实用性。
KPI-Check 工具是如何自动识别金融报告中的同义词关键绩效指标的？
KPI-Check 使用 BERT 过滤和文本分类技术，自动识别纠正金融报告中的同义词关键绩效指标，实现了高匹配性能，目前正在为一家全球性审计公司的资产负债表和损益表审核工作提供帮助。
