试点全球首个双盲AI评估
内容提要
谷歌推出全球首个专有前沿AI模型的双盲评估，通过加密“盒子”防止模型提前看到测试题，避免基准污染。与新加坡AI安全研究所等合作，测试Gemini Flash Lite模型，确保评估数据与模型权重互不可见，提升评估完整性。此举解决传统评估中泄露测试题或模型知识产权的权衡，增强AI基准的可信度，尤其适用于网络安全等敏感领域。
延伸解读
双盲评估如何运作
双盲评估利用谷歌云机密计算中的Confidential Space，将外部评估数据和专有模型权重分别加密隔离。评估者无法看到模型权重，谷歌也无法看到测试提示，从而在技术上防止基准污染。这种加密验证方式，比传统的零日志和合同约束更进一步，为模型评估提供了更强的安全保障。
解决传统评估的权衡
以往高风险外部评估面临两难：要么评估者交出测试提示，要么模型提供者交出模型权重。双盲评估消除了这一权衡，使双方都能保护自己的敏感信息。这对于网络安全或政府等高度敏感领域的评估尤为重要，因为数据主权和安全性不容妥协。
对AI信任的影响
如果模型提前看到测试题，基准分数可能虚高，削弱政策制定者、研究人员和企业的信任。双盲评估通过加密手段确保模型无法“偷看”，从而提升基准的可信度。这一试点有望为行业树立新标准，推动更安全、更可靠的AI系统发展。
Q&A
谷歌推出的全球首个双盲AI评估是什么？
谷歌推出的全球首个双盲AI评估是一种针对专有前沿AI模型的评估方法，通过加密的“盒子”确保模型在测试前无法看到测试题，从而避免基准污染，提升评估的完整性。
双盲评估如何解决传统评估中的权衡问题？
传统评估中，要么评估者交出测试题（风险是模型提供者提前看到），要么模型提供者交出模型权重（风险是知识产权泄露）。双盲评估通过加密技术，使评估数据和模型权重互不可见，从而消除了这种权衡。
谷歌与哪些机构合作进行双盲评估？
谷歌与新加坡AI安全研究所、OpenMined、AVERI和MLCommons合作，对Gemini Flash Lite模型进行双盲评估。
双盲评估中使用了什么技术来保证数据隐私？
双盲评估使用了谷歌云机密计算中的Confidential Space，通过加密技术确保评估数据和模型权重对彼此不可见，从而保护数据隐私和知识产权。
为什么双盲评估对网络安全等敏感领域特别重要？
因为随着模型能力增强，敏感评估（如网络安全或政府用途）需要防止模型提前看到测试题，否则结果可能被扭曲。双盲评估通过加密保护，使独立组织能够在不泄露数据主权或安全的前提下进行严格测试。
双盲评估如何增强AI基准的可信度？
双盲评估通过防止模型提前看到测试题，避免基准污染，确保评估结果真实反映模型能力，从而增强AI基准的可信度。
