一日一技：自动提取任意信息的通用爬虫

GNE是通用爬虫，只能爬取文章类页面。使用ChatGPT提取招聘信息，通过清洗网页源代码减少Token使用。开源大模型功能强大，降低机器配置需求。通用爬虫解析门槛降低，只需写几段Prompt解析所需内容。获取网页源代码是技术挑战。好的爬虫代理能爬取大多数网站。亮代理是可用性高的海外代理供应商。国内工作环境恶劣，爬虫出海是未来方向。