西秦公子
·
如何 Debug 爬虫无法成功爬取的问题
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
在编写爬虫代码时，遇到浏览器访问正常但代码无法爬取的问题。解决方法是通过复制浏览器行为，找到关键参数。使用Chrome DevTools获取请求，通过二分法测试Header，逐步删除并发送cURL，直到找到影响结果的Header。将这些逻辑放入代码或单元测试中，以便快速发现问题。
🎯
关键要点
-
编写爬虫时，常遇到浏览器正常但代码无法爬取的问题。
-
解决方法是复制浏览器行为，找到关键参数。
-
使用Chrome DevTools获取请求，复制为cURL格式。
-
分析cURL命令中的Header，找出可能导致爬虫被拒绝的Header。
-
采用二分法测试Header，逐步删除并发送cURL，定位关键Header。
-
将找到的逻辑放入代码或单元测试中，以便快速发现问题。
🏷️
