Trix Cyrus发布了新的Rust库rand_agents，用于生成随机User-Agent字符串，适用于网页抓取、渗透测试和模拟浏览器行为。该库轻量易用，支持多种浏览器和操作系统，帮助开发者避免被封锁，安装和使用都很简单。

在编写爬虫代码时，遇到浏览器访问正常但代码无法爬取的问题。解决方法是通过复制浏览器行为，找到关键参数。使用Chrome DevTools获取请求，通过二分法测试Header，逐步删除并发送cURL，直到找到影响结果的Header。将这些逻辑放入代码或单元测试中，以便快速发现问题。