Sentry Blog
·
在Sentry的Hackweek中：一个破坏事物的借口
💡
原文英文，约2400词，阅读约需9分钟。
📝
内容提要
在Sentry的Hackweek中，团队开发了名为Gremlins的AI模糊测试代理，旨在通过模拟用户行为发现软件错误。Gremlins利用Sentry的SDK捕捉错误并收集数据，以提高应用程序的稳定性。它通过创建网页的文本表示与网站互动，但在资源使用和智能方面仍面临挑战。
🎯
关键要点
- 在Sentry的Hackweek中，团队开发了名为Gremlins的AI模糊测试代理。
- Gremlins旨在通过模拟用户行为发现软件错误，提高应用程序的稳定性。
- Gremlins通过创建网页的文本表示与网站互动，利用Sentry的SDK捕捉错误和收集数据。
- 用户可以配置目标网站和可选的代理设置，Gremlins会在网站上进行测试。
- 团队实验了两种类型的代理，分别是自制解决方案和使用ChatGPT的浏览器代理。
- Gremlins的核心循环是创建网页状态的文本表示，并与LLM进行交互。
- 使用ARIA创建网页的文本表示，使得LLM能够更好地理解网页元素。
- Gremlins能够通过自定义工具执行点击、填写等操作，模拟真实用户行为。
- 在Hackweek期间，团队发现了使用浏览器代理的高资源使用和内存泄漏问题。
- 通过Sentry记录错误，团队能够实时监控Gremlins触发的崩溃。
- 使用服务器发送事件(SSE)将数据传输到UI，构建实时数据界面。
- 高流量网站对机器人检测非常严格，Gremlins在处理CAPTCHA时遇到困难。
- 开发者需要意识到AI代理在浏览器中的安全风险，必须采取必要的安全措施。
- 让代理随机行为比预期更困难，团队尝试了不同的方法以提高随机性。
- Gremlins被赋予个性，增加了趣味性和互动性。
❓
延伸问答
Gremlins是什么，它的主要功能是什么？
Gremlins是一个AI模糊测试代理，旨在通过模拟用户行为发现软件错误，提高应用程序的稳定性。
在Hackweek期间，团队使用了哪些技术来构建Gremlins？
团队实验了自制解决方案和使用ChatGPT的浏览器代理，结合了Playwright和ARIA技术。
Gremlins如何与Sentry集成以捕捉错误？
Gremlins利用Sentry的SDK捕捉错误并收集数据，以便实时监控和记录崩溃。
使用Gremlins进行测试时，用户可以配置哪些选项？
用户可以配置目标网站、可选的代理设置、认证信息和Gremlins的数量等。
Gremlins在处理高流量网站时遇到了哪些挑战？
Gremlins在处理高流量网站时遇到严格的机器人检测和CAPTCHA问题。
开发Gremlins时，团队发现了哪些性能问题？
团队发现使用浏览器代理时存在高资源使用和内存泄漏的问题。
➡️
