正确抓取数据 第1部分
内容提要
文章介绍用Python的lxml库抓取网页数据，认为它比BeautifulSoup更快，适合解析规范HTML。以抓取Craigslist房源为例，演示用XPath提取索引页链接并保存，再进入详情页抓取帖子ID等字段。建议将XPath封装成函数或存入字典，避免重复写try/catch和硬编码。
延伸解读
lxml 与 BeautifulSoup 的取舍
文章引用 lxml 文档指出，BeautifulSoup 并非真正的 HTML 解析器，而是用正则表达式处理标签，因此对不规范 HTML 更宽容，但速度较慢；lxml 在解析规范网页时更快，且修复破损 HTML 的能力有时更好。选择取决于输入质量：若页面结构良好且性能重要，lxml 更合适；若编码检测或容错优先，BeautifulSoup 可能更优。
XPath 硬编码的维护隐患
示例中直接写死 XPath 路径，如 //*[@id="toc_rows"]/div[2]/p[1]/span[2]/a/@href，并靠循环拼接 p[1] 到 p[100]。这种做法一旦页面结构微调，所有路径都可能失效。文章建议将 XPath 封装成函数或存入字典，通过参数传递，避免重复写 try/catch 和硬编码，提升代码可维护性。
抓取流程中的错误处理
代码在请求索引页时检查状态码 404 并退出，防止继续抓取无效页面。进入详情页后，用 try/except 包裹 XPath 提取，避免因字段缺失导致程序崩溃。文章强调，若需抓取 30 个属性，不应写 30 次 try/catch，而应统一封装，既减少重复，也便于集中处理异常。
Q&A
为什么在Python网页抓取中推荐使用lxml而不是BeautifulSoup？
lxml在解析格式良好的网页时速度更快，而BeautifulSoup使用正则表达式解析，速度较慢，但编码检测支持更好。因此，如果性能重要，lxml是更好的选择。
如何用lxml从Craigslist索引页抓取所有房源链接？
首先用Chrome Inspect Element获取链接的XPath，例如//*[@id="toc_rows"]/div[2]/p[1]/span[2]/a/@href，然后循环遍历页面（如每100条一页），用lxml解析HTML并提取链接，保存到文件。
在抓取详情页时，如何避免为每个字段重复写try/catch？
可以将XPath提取封装成函数，例如def get_attr(tree, xps): return tree.xpath(xps)，然后通过字典传递属性名和XPath，循环调用该函数，避免重复的try/catch和硬编码。
为什么建议将XPath硬编码改为使用字典存储？
硬编码XPath不利于维护和扩展，使用字典存储属性名和对应的XPath，可以方便地传递参数，使代码更灵活、可复用。
用lxml抓取Craigslist房源时，如何处理页面不存在的情况？
在请求页面后检查状态码，如果为404，则退出程序（例如使用sys.exit(1)），避免后续解析错误。
文章提到Part 2将讨论哪些内容？
Part 2将继续讨论编码问题、防止重复等话题。
