一个韩文标题,三种不同长度:在Perl中测试Unicode键

💡 原文英文,约400词,阅读约需2分钟。
📝

内容提要

文章以韩文标题“푸른길”为例,说明Perl中Unicode计数的三个层面:码点、字素簇和UTF-8字节。NFC形式为3个码点、9字节;NFD分解为8个码点,但仍是3个字素簇。哈希键按原字符串比较,不同规范化形式会导致查找失败,应在插入和查询时统一规范化,并保留原显示字符串。`use utf8`只声明源码编码,读取UTF-8文件须显式指定编码层。

🔎

延伸解读

三种计数方式各有用途

文章以韩文标题“푸른길”为例,展示了Perl中Unicode计数的三个层面:码点、字素簇和UTF-8字节。NFC形式下长度为3个码点,NFD分解后为8个码点,但字素簇始终是3个。字节数则取决于编码,NFC的UTF-8表示为9字节。理解这些差异有助于在字符串处理、显示和存储时选择正确的度量方式。

哈希键比较需统一规范化

Perl哈希键按原字符串比较,不同规范化形式(如NFC与NFD)会被视为不同键,导致查找失败。文章建议在插入和查询时都进行规范化,例如统一使用NFC形式作为键。若需保留原始显示字符串,可单独存储,但匹配时使用规范化后的键。这能避免因数据来源不同而造成的匹配错误。

use utf8 只声明源码编码

文章指出,`use utf8`仅告诉Perl当前源码文件是UTF-8编码,并不影响从文件或标准输入读取的数据。读取UTF-8文本文件时,必须显式指定编码层,如`<:encoding(UTF-8)`,否则规范化函数可能收到未解码的字节串。若源编码未知,应先确定编码,错误解码后的规范化无法修复问题。

❓

Q&A

Perl中统计Unicode字符串长度时,码点、字素簇和UTF-8字节有什么区别?

码点是字符的抽象编号,字素簇是用户感知的单个字符,UTF-8字节是实际存储的字节数。例如韩文标题“푸른길”在NFC形式下有3个码点、3个字素簇、9个UTF-8字节;在NFD形式下有8个码点,但仍是3个字素簇。

为什么韩文标题“푸른길”在NFD规范化后码点数量变成8个?

因为NFD将每个预组合的韩文音节分解为字母(jamo)。“푸”分解为2个字母(初声和元音),“른”和“길”各分解为3个字母(初声、元音和终声),所以总共2+3+3=8个码点,但视觉上仍是3个音节。

在Perl中,如果哈希键使用Unicode字符串,不同规范化形式会导致什么问题?如何解决?

Perl哈希键按原字符串比较,不同规范化形式(如NFC和NFD)会被视为不同的键,导致查找失败。解决方法是在插入和查询时统一规范化(例如都使用NFC),同时保留原始显示字符串。

Perl的`use utf8`编译指示有什么作用?它是否足以处理UTF-8文件?

`use utf8`只声明源代码文件使用UTF-8编码,使Perl正确解析源码中的字符串字面量。但它不适用于读取外部UTF-8文件;读取文件时需要显式指定编码层,例如`open my $fh, '<:encoding(UTF-8)', $file`。

如何用Perl测试一个Unicode字符串的字素簇数量?

可以使用正则表达式`/\X/g`来匹配字素簇。例如`my @clusters = $string =~ /\X/g;`,然后`scalar @clusters`即为字素簇数量。对于“푸른길”的NFD形式,这样会得到3个字素簇。

NFC规范化能解决韩文标题的哪些问题?不能解决哪些问题?

NFC规范化可以统一不同来源的字符串表示,确保哈希键匹配。但它不能翻译韩文标题、修正拼写错误,也不能判断两个同名节目是否为同一作品。

🏷️

标签

➡️

继续阅读