初级爬虫工程师编写XPath时常遇到动态生成的HTML问题。使用DrissionPage工具可以在模拟浏览器中操作，避免弹出框消失，从而轻松获取所需的XPath，适用于各种弹出框。

ChatGPT的成功引起了国内公司对语言模型的关注，但他们面临获取训练数据的问题。一种解决方案是购买数据或招聘爬虫工程师，但这些方法都存在限制。然而，名为Common Crawl的项目提供了免费获取600亿个网站数据的机会，覆盖40多种语言，时间跨度从2008年至今。数据存储在亚马逊S3上，可通过HTTP直接下载，包括原始HTML代码和提取出的纯文本。用户可以按时间段下载并解压缩文件，然后使用程序解析数据。这个项目为训练大型语言模型提供了宝贵的资源。