我参加了 OpenAI 红队的活动，并带来了一些笔记
内容提要
OpenAI的红队测试是一个结构化的过程，旨在探查AI系统和产品的潜在风险，并构建更安全、更值得信赖的AI系统。红队测试发现了DALL-E 2的独特攻击面和风险，以及GPT-4的风险领域，为下游应用的安全开发提供借鉴意义。红队测试的主要局限性是依赖专家手工评估，未来需要加强自动化测试能力和扩大红队的多样性。红队测试在确保AI系统的安全部署中扮演着重要角色，其独特价值在于主动发现风险、换位思考和持续优化。
延伸解读
红队测试与网络安全红队的区别
文章指出，AI红队测试与网络安全红队测试不同。网安红队聚焦安全漏洞，而AI红队从更宽泛的视角审视AI系统的潜在风险，包括恶意攻击和普通用户无意触发的意外后果，并以定性反馈为主，最终目标是构建更安全、更值得信赖的AI系统。
红队测试的局限性及改进方向
当前红队测试主要依赖专家手工评估，成本高昂且难以规模化。未来需加强自动化测试能力，针对已知风险减少重复劳动；同时扩大红队多样性，纳入更多元视角，并探索公众反馈机制，将意见反哺模型迭代。
红队测试的独特价值
红队测试是一种主动的风险发现机制，能提前发现AI系统的薄弱环节；强调换位思考，站在用户角度审视系统，弥补开发者盲区；还是一个动态、持续优化的过程，每轮测试结果为下一轮提供启示，与程序分析、形式化验证等技术手段相得益彰。
Q&A
红队测试在AI系统中具体是做什么的？
红队测试是一个结构化的过程，旨在探查AI系统和产品，识别潜在的有害能力和基础设施漏洞。
OpenAI的红队测试如何与组织运作结合？
红队测试贯穿产品开发全过程，确保AI安全是各团队共同的主题，涉及研究、应用和策略等多个团队的协作。
DALL-E 2的红队测试发现了哪些风险？
发现了如视觉同义词的滥用和修复功能的恶意篡改等独特攻击面，这些风险难以通过传统分析检测。
GPT-4的红队测试关注哪些风险领域？
主要关注模型幻觉、偏见、生成违禁内容和隐私泄露等风险领域，这些对下游应用有重要借鉴意义。
红队测试的主要局限性是什么？
当前主要依赖专家手工评估，成本高且难以规模化，未来需要加强自动化测试能力和扩大红队多样性。
红队测试如何处理发现的问题？
发现的问题会被听取并解决，例如DALL-E 2的案例推动了更强大的多模态分类器的开发。
