毛利语AI模型助力保护和推广新西兰原住民语言

毛利语AI模型助力保护和推广新西兰原住民语言

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

新西兰的Te Hiku Media使用AI技术保护和振兴毛利人的母语te reo,准确率达到92%。他们建立了Whare Kōrero平台,收录了30多年的毛利人语音资料。该项目激励了其他原住民群体进行类似的AI项目。

🔎

延伸解读

数据主权:自建平台而非上传全球平台

Te Hiku Media 没有将音视频资料上传到全球性平台,因为那些平台的条款要求让渡内容相关权利。他们选择自建 Whare Kōrero 平台,以维护毛利人的数据主权。这一做法表明,语言保护项目在技术选型时,数据控制权与准确率同样重要,尤其对于历史上被边缘化的群体。

众包收集语音数据的效率与伦理

为突破长者录音难以规模化的瓶颈,Te Hiku Media 发起 Kōrero Māori 众包活动,10 天内吸引超过 2500 人参与,朗读 20 多万条短语,获得 300 多小时标记语音数据。所有数据按 Kaitiakitanga 许可收集,确保仅用于毛利人福祉。这说明伦理框架与社区参与可以兼得,并加速数据积累。

双语转录准确率差异提示实际使用边界

该 ASR 模型转录纯 te reo 的准确率为 92%,但处理 te reo 与英语混合语音时准确率降至 82%。这一差距提醒使用者,在双语混杂的真实场景中,转录结果可能需要更多人工校对。同时,模型支持自动标点,已用于在线转录服务 Kaituhi,显示其已进入实用阶段。

原住民主导的 AI 项目具有示范效应

Te Hiku Media 使用 NVIDIA 开源 NeMo 工具包和 A100 GPU 构建模型,其成功已激励夏威夷原住民和加拿大东南部莫霍克人开展类似 ASR 项目。这表明,由原住民群体主导、符合自身伦理标准的技术方案,不仅能保护本族语言,还能为其他边缘化社区提供可复制的路径。

❓

Q&A

Te Hiku Media 的毛利语语音识别模型准确率是多少?

Te Hiku Media 的 ASR 模型转录 te reo 的准确率达到 92%,转录 te reo 和英语双语语音的准确率为 82%。

Whare Kōrero 平台是什么?它收录了哪些内容?

Whare Kōrero 意为“语音之屋”,是 Te Hiku Media 自建的内容分发平台,收录了超过 30 年的数字化档案材料,包括约 1000 小时的毛利语母语者录音(部分母语者出生于 19 世纪末),以及第二语言学习者和双语毛利人的较新内容。目前约 20 家毛利电台使用并上传内容,社区成员可通过应用访问。

Te Hiku Media 如何收集语音数据并确保数据主权?

Te Hiku Media 采用道德透明、社区导向的方式收集数据:先向长者解释项目目的并获得支持,请他们到电台朗读短语;随后开展众包活动 Kōrero Māori,在 10 天内吸引超过 2500 人报名朗读 20 多万条短语,提供超过 300 小时的标记语音数据。数据收集遵循 Kaitiakitanga 许可,确保数据仅用于毛利人利益,维护毛利人的数据主权。

Te Hiku Media 使用了哪些 NVIDIA 技术来构建毛利语 AI 模型?

Te Hiku Media 使用开源的 NVIDIA NeMo 工具包(用于 ASR)和 NVIDIA A100 Tensor Core GPU 来构建语音转文本模型。NeMo 工具包包含神经模块构建块和预训练模型,使 ASR 模型支持双语并自动添加标点。

Kaituhi 是什么?它与 Te Hiku Media 的 ASR 模型有什么关系?

Kaituhi 是一个在线的 te reo Māori 转录服务,Te Hiku Media 的 ASR 模型是其背后的引擎。

Te Hiku Media 的项目对其他原住民群体产生了什么影响?

该项目激励了其他原住民群体开展类似的 ASR 项目,例如夏威夷原住民和加拿大东南部的莫霍克人。正如 Mahelona 所说,这是原住民领导的可信 AI 工作,激励其他群体思考:“如果他们能做到,我们也能。”

🏷️

标签

➡️

继续阅读