谷歌找到了一种在不查看问题的情况下测试Gemini的方法
内容提要
谷歌DeepMind首次采用双重盲测评估AI模型，隐藏模型权重和测试问题以防基准数据泄露。通过机密计算环境加密传输数据，确保双方互不窥探。试点测试Gemini 2.5 Flash Lite，开销低于5%，但法律协议和代码审查仍是挑战，信任部分转移至硬件。此方法或为AI评估提供更可靠方式。
延伸解读
双重盲测如何运作
谷歌DeepMind的试点采用机密计算环境，将模型权重和测试问题分别加密存储于GPU和主机内存中，双方通过远程证明确认环境安全后，在隔离的飞地内运行评估。评估结束后，临时环境被销毁，仅向评估方提供允许的结果。这种设计旨在防止基准数据泄露，同时避免模型权重暴露。
信任转移而非消除
尽管双重盲测减少了双方对彼此的信任需求，但信任并未完全消失，而是转移至硬件和云提供商。系统依赖硬件加密和远程证明，但假设云提供商和硬件制造商不会合谋破坏保护。此外，谷歌仍参与验证过程，因为个别构建使用私有签名密钥，无法独立复现，且其自身服务用于签署和验证证明报告。
实际挑战与未来方向
计算开销低于5%，但法律协议和代码审查成为主要障碍。OpenMined的PySyft允许双方预先批准代码并阻止敏感部分的外部连接，但这一过程需要大量工作。研究人员希望未来将证明过程简化，类似浏览器中的HTTPS锁图标，使用户无需处理底层细节。同时，他们计划通过加密链接连接多个GPU，以评估超出单GPU容量的更大模型。
Q&A
谷歌DeepMind的双盲测试是如何防止基准数据泄露的？
谷歌DeepMind使用机密计算环境（Google Cloud Confidential Space）和硬件加密内存，将模型权重和测试问题分别加密传输到安全飞地中，双方都无法访问对方的数据。远程证明确保代码符合约定，OpenMined的PySyft则限制敏感代码的外部网络连接。
为什么传统的基准测试方法容易导致数据泄露？
因为闭源模型通常通过API运行评估，提供商可以看到测试问题；而独立运行则需要提供商交出模型权重。这导致基准测试可能被模型公司看到，造成数据泄露。
谷歌DeepMind的双盲测试中，模型权重和测试问题是如何保护的？
模型权重存储在硬件加密的GPU内存中，测试问题存储在加密的主机内存中。双方通过加密连接传输数据到安全飞地，评估结束后临时环境被销毁。
谷歌DeepMind的双盲测试在计算开销和实际应用中的主要挑战是什么？
计算开销低于5%，但主要挑战在于法律协议和代码审查，这些过程耗时且复杂。此外，远程证明和代码审批仍需人工参与，尚未完全自动化。
谷歌DeepMind的双盲测试中，信任是如何转移的？
信任从双方互信转移到对硬件和云提供商的信任，包括假设云提供商和硬件制造商不会串通破坏保护。此外，谷歌仍参与验证过程，因为其服务用于签名和验证证明报告。
谷歌DeepMind的双盲测试未来计划是什么？
未来计划使用集群的H100和B200 GPU通过加密链接连接，以评估无法在单个GPU上容纳的大型模型。同时，研究人员希望使远程证明更加自动化，类似浏览器的HTTPS锁图标。
