轮询获利
内容提要
这篇文章讲述了作者如何使用Python脚本模拟浏览器行为来发送HTTP请求，并解析HTML页面中的数据。作者使用requests模块发送请求，并使用HTMLParser模块解析HTML。作者还介绍了如何将字符串转换为字典，并使用JSON解析数据。最后，作者将获取到的数据存储在字典中，并定时进行轮询。
延伸解读
为何选择模拟浏览器而非API
文章指出目标网站没有提供API，因此作者决定用Python脚本模拟浏览器行为来发送HTTP请求。这种方法适用于没有官方接口、但需要获取页面数据的场景。不过，模拟浏览器需要手动处理请求头、Cookies等，且网站结构变化可能导致脚本失效，维护成本较高。
解析动态页面数据的技巧
作者发现职位信息存储在HTML标签的data-react-props属性中，该属性值为JSON格式。通过HTMLParser定位特定data-react-class的标签，再提取并解析JSON，可以获取结构化数据。这种方法依赖于页面属性的稳定性，一旦网站改版，脚本可能需调整。
轮询与状态跟踪的实现
脚本每5分钟轮询一次，将获取的项目存入以ID为键的字典。利用集合运算比较新旧项目ID，可以识别新增和移除的项目，并打印变化。这避免了重复通知，但需注意集合差集运算的顺序，且轮询频率需合理设置以防给服务器造成压力。
代码中的脆弱性与应对
作者使用字符串比较判断薪资是否低于阈值，并依赖属性顺序，这些做法较为脆弱。此外，项目标题中的emoji曾导致IDLE崩溃，通过encode(errors='ignore')处理。这些细节提醒我们，在编写类似脚本时需考虑数据格式的多样性和环境的兼容性。
Q&A
如何使用Python脚本模拟浏览器行为发送HTTP请求？
可以使用requests模块发送HTTP请求，并通过开发者工具检查请求和响应的头部信息。
如何解析HTML页面中的数据？
可以使用HTMLParser模块来解析HTML，并提取所需的数据，例如通过data-react-props属性。
如何将字符串转换为Python字典？
可以通过自定义函数将Cookies头字符串分割并转换为字典形式，以便于后续使用。
如何定时进行数据轮询？
可以使用Timer类设置定时任务，例如每5分钟调用一次数据获取函数。
如何跟踪项目状态变化？
可以使用集合来跟踪当前项目，并比较新旧项目状态，以识别新增和移除的项目。
在处理HTML时可能遇到哪些问题？
处理HTML时可能会遇到解析错误或格式变化的问题，这可能导致脚本失效。
