量子位
·
首个AI翻译实战榜单出炉！GPT-4o稳坐天花板，Qwen擅长文化丨开源
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
首个AI翻译测评榜单TransBench由阿里国际、上海AI实验室和北语联合发布，评估翻译模型的准确性和文化适应性，GPT-4o表现最佳。TransBench为开源项目，欢迎各翻译机构参与。
🎯
关键要点
- 首个AI翻译测评榜单TransBench由阿里国际、上海AI实验室和北语联合发布。
- TransBench评估翻译模型的准确性和文化适应性，GPT-4o表现最佳。
- TransBench增加了幻觉率、文化禁忌词、敬语规范等指标，专门针对大模型翻译的关键问题进行考核。
- 评测数据和方法来自真实场景的使用反馈，旨在符合大规模应用的标准。
- TransBench数据集涵盖多种语言，并持续更新小语种。
- 评测榜单从综合得分、通用标准、电商文化、文化特性四个维度打分。
- 在英语翻译中，GPT-4o、DeepL Translate和GPT-4-Turbo排名前三。
- 在中文翻译中，GPT-4o、DeepSeek-V3和Claude-3.5-Sonnet排名前三。
- TransBench重新定义翻译测评标准，关注通用质量、行业垂直标准和跨文化特性标准。
- TransBench的测评体系基于阿里国际自研翻译大模型Marco MT的用户反馈。
- 阿里国际的电商平台广泛应用AI能力，助力业务发展。
- TransBench的测评方法已开源，评测结果将持续更新。
❓
延伸问答
TransBench是什么？
TransBench是首个应用型AI翻译测评榜单，由阿里国际、上海AI实验室和北语联合发布，评估翻译模型的准确性和文化适应性。
GPT-4o在翻译测评中表现如何？
GPT-4o在TransBench的评测中表现最佳，稳坐翻译AI的“天花板”。
TransBench评测的主要指标有哪些？
TransBench评测增加了幻觉率、文化禁忌词、敬语规范等指标，专门针对大模型翻译的关键问题进行考核。
哪些翻译模型在英语翻译中排名靠前？
在英语翻译中，排名前三的模型是GPT-4o、DeepL Translate和GPT-4-Turbo。
TransBench的评测方法有什么特点？
TransBench的评测方法基于真实场景的使用反馈，关注通用质量、行业垂直标准和跨文化特性标准。
TransBench是否开源？
是的，TransBench的评测方法和数据集已全面开源，欢迎各翻译机构参与。
➡️
