手刃一个善意的小爬虫（三），使用xpath解析，包括常用处理技巧
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
本文介绍了使用lxml库进行xpath入门练习的方法，包括找到ul标签中的所有文本内容、通过索引找到ul标签中的百度、找到ol标签下href属性为dapao的文本值、找到ol标签下a标签中所有的文本值、找到ol标签下a标签中所有href属性的值等。同时还介绍了etree.parse和etree.HTML的区别，并给出了爬取猪八戒网站信息和处理cookie登录小说网、处理防盗链问题爬取梨视频下载地址的案例实战。最后总结了使用xpath进行定位的基础知识。
❓
Q&A
如何安装lxml库以使用xpath？
使用命令pip install lxml进行安装。
如何使用xpath找到ul标签中的所有文本内容？
可以使用tree.xpath('/html/body/ul/li/a/text()')来获取ul标签中的所有文本。
etree.parse和etree.HTML有什么区别？
etree.parse用于解析标准网页格式，etree.HTML用于处理不规范的html数据。
如何处理cookie以登录小说网并爬取数据？
需要先登录获取cookie，然后使用session请求书架的内容。
如何爬取梨视频的下载地址？
需要获取contID，修整srcUrl，然后下载视频。
使用xpath进行定位有什么重要性？
掌握xpath定位有助于在爬虫解析时更有效地提取数据。
