谢乾坤|青南
·
一日一技：使用大模型实现全自动爬虫（一）
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
文章介绍了如何使用大模型实现全自动爬虫。通过输入起始URL，爬虫能自动抓取博客的标题、正文、作者和发布时间。使用httpx库，无需模拟浏览器。解析逻辑包括提取详情页URL和分页链接，利用GLM-4-Plus完成。未来计划引入模拟浏览器应对反爬虫和滚动加载问题。
🎯
关键要点
-
文章介绍了如何使用大模型实现全自动爬虫。
-
只需输入起始URL，爬虫能自动抓取博客的标题、正文、作者和发布时间。
-
使用httpx库，无需模拟浏览器。
-
爬虫自动抓取前三页所有博客文章，无需手动指定XPath。
-
代码分为多个模块，包括llm.py、utils.py、constants.py、parser.py和main.py。
-
parser.py中包含字段解析与翻页的核心逻辑。
-
使用GLM-4-Plus大模型进行数据提取。
-
列表页直接提取URL，详情页生成XPath以节省输出Token。
-
爬虫流程通过while循环实现递归操作。
-
未来计划引入模拟浏览器以应对反爬虫和滚动加载问题。
❓
延伸问答
如何使用大模型实现全自动爬虫？
只需输入起始URL，爬虫能自动抓取博客的标题、正文、作者和发布时间，使用httpx库，无需模拟浏览器。
爬虫的代码结构是怎样的？
代码分为多个模块，包括llm.py、utils.py、constants.py、parser.py和main.py。
爬虫如何处理翻页和字段解析？
爬虫通过parser.py中的data_extract和paging_extract方法来提取详情页URL和翻页链接。
使用GLM-4-Plus大模型有什么优势？
GLM-4-Plus能够高效完成数据提取，适合处理复杂的HTML结构。
爬虫未来的改进计划是什么？
未来计划引入模拟浏览器以应对反爬虫和滚动加载问题。
爬虫是否需要手动指定XPath？
不需要，爬虫能够自动抓取所有文章，无需手动指定XPath。
🏷️
