The GitHub Blog
·
利用AI发现泄露密码：我们是如何构建Copilot秘密扫描功能的
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
2024年10月，GitHub推出了Copilot秘密扫描功能，利用AI检测代码中的通用密码。该功能通过上下文分析减少误报，提高安全性。开发团队克服了文件类型多样性和模型限制等挑战，经过多次测试和模型优化，成功提升了检测精度。目前，Copilot秘密扫描已覆盖35%的GitHub Secret Protection库，并持续改进以满足用户需求。
🎯
关键要点
- 2024年10月，GitHub推出了Copilot秘密扫描功能，利用AI检测代码中的通用密码。
- Copilot秘密扫描是GitHub Secret Protection的一部分，旨在保护数百万个代码库。
- 该功能通过上下文分析减少误报，提高安全性。
- 开发团队克服了文件类型多样性和模型限制等挑战，经过多次测试和模型优化，成功提升了检测精度。
- 私有预览阶段发现了非传统文件类型和结构的问题，导致模型在某些客户代码库中表现不佳。
- 改进了离线评估框架，增加了多样化的测试案例，以提高检测质量。
- 通过实验不同的模型和提示策略，最终将Copilot秘密扫描推向公开预览。
- 在扩展容量方面，团队专注于在价值和成本之间找到有效平衡，减少资源使用。
- 实施镜像测试框架以评估检测质量，发现假阳性率显著降低。
- Copilot秘密扫描目前已覆盖35%的GitHub Secret Protection库，并持续改进以满足用户需求。
- 团队的未来目标包括提高精确度、有效资源管理和与其他团队的合作创新。
❓
延伸问答
Copilot秘密扫描功能的主要目的是什么？
Copilot秘密扫描功能旨在通过检测代码中的通用密码来保护GitHub上的数百万个代码库。
Copilot秘密扫描是如何减少误报的？
该功能通过上下文分析潜在秘密的使用和位置，来限制噪音并提供相关警报，从而减少误报。
开发团队在构建Copilot秘密扫描时遇到了哪些挑战？
开发团队面临文件类型多样性和模型限制等挑战，导致模型在某些客户代码库中表现不佳。
Copilot秘密扫描的检测精度是如何提升的？
通过多次测试、模型优化和改进离线评估框架，团队成功提升了检测精度。
Copilot秘密扫描目前覆盖了多少GitHub Secret Protection库？
目前，Copilot秘密扫描已覆盖35%的GitHub Secret Protection库。
未来Copilot秘密扫描的目标是什么？
团队的未来目标包括提高精确度、有效资源管理和与其他团队的合作创新。
➡️
