操纵下，一些 AI 模型是否更难审计？
内容提要
本文综述了机器学习模型审计研究，涵盖人口统计平等评估、AI平台审计、大语言模型三层审计框架、FATE工具审核框架、AdaTest++审计工具、对抗攻击风险量化、稳健性估计器及BBNLI-next偏见测评数据集等方法，旨在提升AI治理与监管能力。
延伸解读
审计方法多样，但缺乏统一标准
文章综述了多种AI模型审计方法，包括人口统计平等评估、平台审计、LLM三层审计框架、FATE工具审核框架、AdaTest++工具、对抗攻击风险量化、稳健性估计器及BBNLI-next偏见测评数据集等。这些方法针对不同风险维度，但尚未形成统一标准，监管机构需根据具体场景选择合适工具。
LLM审计需兼顾技术与人类参与
针对大语言模型，文章提出了三层审计方法，并介绍了AdaTest++工具，强调人类与生成模型协作审计的互补优势。此外，还有研究利用不同LLM相互审核，并在TruthfulQA数据集上验证了可靠性。这表明LLM审计不仅依赖自动化，还需人类参与以确保评估准则的落实。
偏见测评需关注模型脆弱性
文章指出，现有偏见分数存在不足，BBNLI-next数据集通过语言模型生成词汇变体、对抗性过滤和人工验证扩展了原有测评，并提出了考虑促进/反对刻板印象倾向和模型脆弱性的倾向度测量标准。这有助于更细致地区分模型误差类型，提升偏见评估的准确性。
审计工具助力AI治理与监管
文章综述的审计方法旨在提升AI治理与监管能力。例如，平台审计通过代理检测API回答篡改提高可靠性；稳健性估计器在肯尼亚实验中表现优于标准监督学习；FATE工具审核框架引入信任指数对合成数据集排名。这些工具为监管机构提供了理论基础和实用手段。
Q&A
AI模型审计主要面临哪些挑战？
AI模型审计面临多重挑战，包括需要评估人口统计平等、检测API回答篡改、捕捉大语言模型的伦理和社会风险、量化对抗攻击危害、避免决策规则被操纵，以及现有偏见分数不足等问题。
针对大语言模型有哪些审计框架？
文章提到两种大语言模型审计框架：一是三层审计方法，旨在扩展技术提供商和政策制定者的方法学工具箱；二是AdaTest++工具，利用人类和生成模型协作审计，已鉴定出26种不同类型的失效模式。
如何评估机器学习模型的人口统计平等？
可以通过确定性算法和实用的随机化算法来评估ML模型的人口统计平等，以帮助监管机构应对机器学习监管挑战，并为AI治理奠定理论基础。
FATE工具审核框架包括哪些评估维度？
FATE工具审核框架围绕偏见和歧视预防、与真实数据的一致性、效用、鲁棒性和隐私保护进行综合评估，并引入信任指数对多个合成数据集进行排名，通过审核和认证报告连接不同利益相关者。
如何量化对抗攻击对AI模型的风险？
文章提出一种基于统计学建模的评估方法，可以量化敌对攻击导致的危害风险，并演示了该方法的应用结果胜过传统的度量方法。
BBNLI-next数据集是什么？它有什么改进？
BBNLI-next是通过语言模型生成词汇变体、对抗性过滤和人工验证相结合的方法扩展BBNLI测评数据集得到的。它引入了能够区分模型误差类型的倾向度测量标准，考虑了促进/反对刻板印象倾向和模型脆弱性，弥补了现有偏见分数的不足。
