Kyutai 发布 Hibiki：一款 27 亿 S2ST 和语音转文本翻译产品，具有接近人类水平的音质和语音转换功能
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
Hibiki是一个实时语音翻译模型，结合语音识别、机器翻译和文本转语音，支持法语到英语翻译。其独特架构和上下文对齐技术提升了翻译质量和说话人保真度，适合实时应用。Hibiki-M优化了智能手机性能，具备开源潜力。
🔎
延伸解读
实时翻译的技术挑战
实时语音翻译面临多重技术挑战，尤其是如何有效整合语音识别、机器翻译和文本转语音。传统方法常常引入复合错误，导致翻译质量下降。Hibiki通过独特的架构和上下文对齐技术，显著提升了翻译的准确性和流畅度，适合现场应用。
Hibiki的优势与应用前景
Hibiki的27亿参数模型在翻译质量和说话人保真度方面表现优异，ASR-BLEU得分高达30.5，接近专业翻译水平。其开源特性为多语言沟通提供了新的可能性，尤其在国际会议和跨国交流中，Hibiki有望成为重要工具。
Hibiki-M的优化与适用性
Hibiki-M作为Hibiki的精简版，专为智能手机优化，适合移动设备使用。尽管在说话人相似度上略有下降，但其实时性能依然出色，适合需要快速翻译的场景，如旅游和商务交流。
❓
Q&A
Hibiki的主要功能是什么？
Hibiki是一款实时语音翻译模型，结合语音识别、机器翻译和文本转语音，支持法语到英语翻译。
Hibiki与传统翻译方法相比有什么优势？
Hibiki通过上下文对齐技术和仅解码器架构，减少了复合错误，提高了翻译质量和说话人保真度，适合实时应用。
Hibiki的训练数据来源是什么？
Hibiki基于700万小时的英语音频、45万小时的法语和4万小时的合成并行数据进行训练。
Hibiki的性能评估结果如何？
Hibiki的ASR-BLEU得分为30.5，人工评估自然度为3.73/5，接近专业人工翻译的4.12/5。
Hibiki-M与Hibiki有什么不同？
Hibiki-M是Hibiki的精简版，拥有17亿个参数，优化了智能手机上的实时性能。
Hibiki的开源版本有什么潜力？
Hibiki的开源版本有潜力为多语言通信的进步做出贡献，促进更广泛的应用和开发。
🏷️
