DEV Community
·
逆向工程GraphQL持久查询扩展
内容提要
GraphQL是一种用于从后端获取嵌套数据的查询语言。为提高效率，推出了“持久查询”扩展，客户端仅发送查询文本的哈希值。这虽然优化了性能，但对网络爬虫造成了挑战。通过使用mitmproxy工具，可以拦截请求并修改哈希，从而提取完整查询文本，确保爬虫在网站变化时仍能正常工作。
关键要点
-
GraphQL是一种用于从后端获取嵌套数据的查询语言。
-
为提高效率，推出了“持久查询”扩展，客户端仅发送查询文本的哈希值。
-
持久查询优化了性能，但对网络爬虫造成了挑战。
-
GET请求更容易被阻止，且隐藏查询参数使得无法获取完整查询。
-
网站变化时，旧的哈希可能失效，无法再次使用。
-
可以通过拦截请求并修改哈希来提取完整查询文本。
-
mitmproxy是一个开源工具，可以拦截并修改请求。
-
使用Python脚本修改请求的哈希值为伪造值。
-
需要使用FoxyProxy扩展将浏览器请求重定向到mitmproxy。
-
通过定期发送相同的查询和哈希，确保爬虫在网站变化时仍能正常工作。
-
持久查询虽然优化了GraphQL API的性能，但也给网络爬虫带来了显著挑战。
延伸解读
持久查询的优势与挑战
持久查询扩展通过发送查询文本的哈希值来优化GraphQL API的性能，减少了数据传输的负担。然而，这种方法也给网络爬虫带来了挑战，尤其是在网站更新时，旧的哈希可能失效，导致爬虫无法正常工作。理解这一点对于开发稳定的爬虫至关重要。
使用mitmproxy的实用技巧
mitmproxy是一个强大的工具，可以帮助开发者拦截和修改请求。通过编写Python脚本，可以轻松地将请求中的哈希值替换为伪造值，从而提取完整的查询文本。这种方法避免了直接分析复杂的客户端JavaScript，提供了一种更高效的解决方案。
GET请求的风险
虽然持久查询允许将查询哈希嵌入GET请求中以提高缓存效率，但GET请求更容易被阻止。这意味着在进行网络爬虫时，开发者需要考虑请求的稳定性和被封锁的风险，可能需要设计备用方案以应对这种情况。
延伸问答
什么是GraphQL的持久查询扩展？
持久查询扩展允许客户端仅发送查询文本的哈希值，从而提高性能。
持久查询对网络爬虫有什么挑战？
持久查询使得网络爬虫难以获取完整查询文本，因为它依赖于服务器存储的哈希值，这些哈希可能会失效。
如何使用mitmproxy提取GraphQL的完整查询文本？
可以通过mitmproxy拦截请求并修改哈希值为伪造值，从而获取完整查询文本。
为什么GET请求在持久查询中更容易被阻止？
GET请求通常更容易被阻止，因为它们的查询参数是公开的，且持久查询隐藏了完整查询。
如何确保爬虫在网站变化时仍能正常工作？
定期发送相同的查询和哈希，以确保服务器记住该哈希，从而保持爬虫的功能。
FoxyProxy在使用mitmproxy时有什么作用？
FoxyProxy用于将浏览器请求重定向到mitmproxy，以便拦截和修改请求。
