一日一技:写XPath也并不总是这么简单

摄影:产品经理烤乳鸽 初级爬虫工程师有时候又叫做XPath编写员,他们的工作非常简单也非常繁琐,就是拿到网页的HTML以后,写XPath。并且他们觉得使用模拟浏览器可以解决一切爬虫问题。 很多人都看不起这个工作,觉得写XPath没有任何技术含量,随便找个实习生就能做。这种看法大部分情况下是正确的,但偶尔也有例外,例如今天我要讲的这个Case,可能实习生还搞不定。

初级爬虫工程师编写XPath时常遇到动态生成的HTML问题。使用DrissionPage工具可以在模拟浏览器中操作,避免弹出框消失,从而轻松获取所需的XPath,适用于各种弹出框。

一日一技:写XPath也并不总是这么简单
原文中文,约1500字,阅读约需4分钟。发表于:
阅读原文