收到非 UTF-8 文本怎么办？Go 字符集检测的探索与实践
💡
原文中文，约10200字，阅读约需25分钟。
📝
内容提要
本文探讨了在Go语言中处理未知编码文本的方法，指出字符集检测的不精确性，主要依赖启发式算法和统计分析。介绍了ICU作为行业标准，并分析了saintfish/chardet等库的优缺点，建议尽量避免检测，明确指定编码。
🎯
关键要点
- 本文探讨在Go语言中处理未知编码文本的方法。
- 字符集检测依赖启发式算法和统计分析，存在不精确性。
- ICU是行业标准，提供强大的Unicode和全球化支持。
- ICU的字符集检测算法分为多字节编码的指纹匹配和单字节编码的统计学分析。
- uber-go/icu4go库未能直接解决字符集检测问题，主要关注本地化和格式化。
- saintfish/chardet是一个纯Go语言实现的字符集检测库，但已不再活跃。
- golang.org/x/text库主要用于编码转换，而非字符集检测。
- 建议在设计系统时尽量避免字符集检测，明确指定编码。
- 在必须检测时，使用saintfish/chardet并评估返回的置信度。
- CGO方案可用于高准确率需求，但复杂性较高。
❓
延伸问答
在Go语言中如何处理未知编码的文本？
在Go中处理未知编码的文本时，建议尽量避免字符集检测，明确指定编码。如果必须检测，可以使用saintfish/chardet库，并评估返回的置信度。
ICU是什么，它在字符集检测中有什么作用？
ICU是由Unicode联盟维护的国际化组件，提供强大的Unicode和全球化支持，其字符集检测算法被广泛认为是业界标准。
saintfish/chardet库的优缺点是什么？
saintfish/chardet是一个纯Go实现的字符集检测库，优点是符合Go语言习惯，但缺点是已不再活跃，可能缺少对新编码的支持。
为什么字符集检测被认为是一门不精确的科学？
字符集检测依赖启发式算法和统计分析，返回的结果通常是基于置信度的最佳猜测，而非100%准确的真理。
golang.org/x/text库能做什么？
golang.org/x/text库主要用于编码转换，而非字符集检测，它提供强大的工具用于在已知源编码和目标编码之间进行精确转换。
在Go中进行字符集检测时，如何评估置信度？
在Go中进行字符集检测时，建议设定置信度阈值：>=80%可采纳，50-80%可疑，<50%视为检测失败。
➡️
