DEV Community
·
使用Python抓取网页标题文本
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
文章介绍了如何用Python和BeautifulSoup从多个URL提取h1标签内容。首先，将URL存入.txt文件，然后用Python脚本通过requests库获取网页内容，并用BeautifulSoup解析HTML。如果成功获取且存在h1标签，则提取文本并存入输出文件。脚本会循环处理所有URL，并记录失败的URL。
🎯
关键要点
- 文章介绍了如何用Python和BeautifulSoup从多个URL提取h1标签内容。
- 首先，将URL存入.txt文件，建议与项目文件保存在同一文件夹。
- 创建另一个.txt文件用于存储输出内容。
- 编写Python脚本，通过requests库获取网页内容，并用BeautifulSoup解析HTML。
- 如果成功获取且存在h1标签，则提取文本并存入输出文件。
- 脚本会循环处理所有URL，并记录失败的URL。
- 使用自定义函数'print_h1'来提取页面中的h1标签。
- 错误处理机制：如果无法获取URL或页面没有h1标签，则打印'FAILED'并返回。
- 运行Python文件后，所有标题和错误信息将写入输出文件。
🏷️
标签
➡️
