聊一聊.NET的网页抓取和编码转换
💡
原文中文，约5200字，阅读约需13分钟。
📝
内容提要
本文介绍了两种用于HTML解析的类库，讨论了网页抓取、编码转换和压缩处理的知识，并提供了在.NET中实现它们的方法。在网页抓取中，使用HtmlAgilityPack库进行DOM解析，但遇到了编码问题，需要使用System.Text.Encoding.CodePages包进行编码转换。在网页压缩处理中，使用HttpClientHandler和HttpClient来处理压缩。最后，对代码进行了优化，推荐了AngleSharp库作为Html解析库，并提出了一些优化建议。希望对大家有所帮助。
🎯
关键要点
-
本文介绍了两种用于HTML解析的类库，HtmlAgilityPack和AngleSharp。
-
网页抓取中使用HtmlAgilityPack进行DOM解析，但可能遇到编码问题。
-
编码转换需要引入System.Text.Encoding.CodePages包，支持GBK编码。
-
使用HttpClient抓取网页时，建议设置请求头以伪装请求。
-
压缩处理可能导致乱码，HttpClient支持自动解压缩功能。
-
代码优化建议包括使用静态HttpClient实例和在程序启动时注册编码提供程序。
-
AngleSharp库被推荐作为Html解析的替代方案，支持更多功能。
-
文章总结了在开发BookMaker小工具时的网页抓取经验，希望对读者有帮助。
➡️
