在Sentry的Hackweek中：一个破坏事物的借口
💡
原文英文，约2400词，阅读约需9分钟。
📝
内容提要
在Sentry的Hackweek中，团队开发了名为Gremlins的AI模糊测试代理，旨在通过模拟用户行为发现软件错误。Gremlins利用Sentry的SDK捕捉错误并收集数据，以提高应用程序的稳定性。它通过创建网页的文本表示与网站互动，但在资源使用和智能方面仍面临挑战。
🎯
关键要点
- 在Sentry的Hackweek中，团队开发了名为Gremlins的AI模糊测试代理。
- Gremlins旨在通过模拟用户行为发现软件错误，提高应用程序的稳定性。
- Gremlins通过创建网页的文本表示与网站互动，利用Sentry的SDK捕捉错误和收集数据。
- 用户可以配置目标网站和可选的代理设置，Gremlins会在网站上进行测试。
- 团队实验了两种类型的代理，分别是自制解决方案和使用ChatGPT的浏览器代理。
- Gremlins的核心循环是创建网页状态的文本表示，并与LLM进行交互。
- 使用ARIA创建网页的文本表示，使得LLM能够更好地理解网页元素。
- Gremlins能够通过自定义工具执行点击、填写等操作，模拟真实用户行为。
- 在Hackweek期间，团队发现了使用浏览器代理的高资源使用和内存泄漏问题。
- 通过Sentry记录错误，团队能够实时监控Gremlins触发的崩溃。
- 使用服务器发送事件(SSE)将数据传输到UI，构建实时数据界面。
- 高流量网站对机器人检测非常严格，Gremlins在处理CAPTCHA时遇到困难。
- 开发者需要意识到AI代理在浏览器中的安全风险，必须采取必要的安全措施。
- 让代理随机行为比预期更困难，团队尝试了不同的方法以提高随机性。
- Gremlins被赋予个性，增加了趣味性和互动性。
➡️
