把评测员请进AI实验室，独立性反而更难证明了
内容提要
Anthropic与Accenture合作开展嵌入式AI评测，让第三方在研发中获得内部权限。作者认为这能更早发现问题，但访问深不等于独立；只有公开测试范围、失败口径、版本与整改状态，并保障自主测试和上报通道，独立才可验证。企业采购应追问评测版本、权限与复测机制。
延伸解读
嵌入式评测的独立性悖论
文章指出，嵌入式评测让第三方获得接近员工的内部权限，能更早发现问题，但访问深度与独立性并非一回事。评测员由被评公司出资，且可能受保密协议限制，知道得多却未必能公开。独立性需要制度保障，如自主选择测试、直接上报通道、防止不利结论被压制，以及区分“未发现风险”与“未覆盖风险”。
企业采购的追问清单
对企业客户而言，采购能访问邮件、代码库和客户数据的Agent时，演示优秀不代表越权、提示注入和数据外泄已被覆盖。文章建议追问：评测对应哪个模型和系统版本、覆盖哪些工具与数据权限、谁定义失败标准、发现问题后是否复测、完整报告由谁持有、重大分歧是否会公开。
从一次性徽章到持续义务
文章强调，模型、系统提示、工具权限或安全过滤器一旦重大调整，就必须重新评测，而非沿用旧报告。合同中可写入版本变化触发器，并约定严重事件的通知时限、证据保全和独立复盘。对暂不能公开的内容，至少让客户审计方在保密条件下查验，使“通过评测”成为持续义务。
Q&A
Anthropic和Accenture合作的嵌入式AI评测是什么？
Anthropic与Accenture旗下AI业务Faculty合作开展前沿AI的嵌入式评测，让第三方评测员获得接近公司员工的访问权限，在模型成形过程中观察训练与部署决策、与内部人员交流，并在发布前寻找盲区。工作包含模型评估、红队测试、对齐评估和安全措施测试。双方称未来五年各自预计至少投入10亿美元建设相关能力。
为什么说嵌入式评测的独立性更难证明？
因为访问深度不等于独立。评测员虽然能获得内部权限，但可能由被评公司付费、受保密协议限制，甚至被内部文化同化。只有公开测试范围、失败口径、版本与整改状态，并保障自主测试和上报通道，独立才可验证。品牌、投入金额和员工级访问都不能替代可核验的程序。
企业采购前沿AI模型时应该追问哪些评测问题？
应追问：评测对应哪个模型和系统版本；覆盖哪些工具与数据权限；谁定义失败标准；发现问题后是否复测；完整报告由谁持有；重大分歧是否会公开。不要接受“基础模型通过评测”这种宽泛表述，要明确评测覆盖的具体产品版本。
嵌入式评测相比传统外部测评有什么不同？
传统外部测评通常是发布前的“成品抽检”，而嵌入式评测把评测前移到研发过程中，进行连续检查。评测员能观察模型版本、系统提示、工具权限、过滤器、部署地区和事件日志等，更早发现问题。但最后一环仍需制度化披露，否则过程不可验证。
如何判断嵌入式评测是否真正独立？可以观察哪些信号？
可以观察四个信号：第一，评测员是否能自主选择测试而非只执行公司给定清单；第二，是否拥有直接向董事会或监管者报告重大事件的通道；第三，公司能否阻止或延迟不利结论发布；第四，报告是否区分“未发现风险”和“未覆盖该风险”。只要这四点含糊，“独立”就仍是一种关系描述，不是质量证明。
企业如何在合同中确保AI模型持续安全？
可以在合同中写入版本变化触发器：模型、系统提示、工具权限或安全过滤器一旦发生重大调整，就必须重新评测，而不是沿用旧报告。对严重事件，约定通知时限、证据保全和独立复盘；对暂不能公开的内容，至少让客户审计方在保密条件下查验。这样“通过评测”才会从一次性徽章变成持续义务。
