论文评估大语言模型在机器翻译质量标注中与人工标注的一致性,比较MQM和ESA两种方案。结果显示,模型与人工一致性在部分任务上超过人工间一致性,但随方案、语对和领域差异大,多数场景仍不可靠。人工难处理细粒度MQM和低资源语对,模型难处理小错误、错误语言变体及错误跨度标注,未来可探索人机协作标注。
本研究探讨机器翻译质量评估的挑战,提出基于MQM框架的评估方法,并应用于多个语言对的翻译输出。研究发现,自动评估指标在某些情况下优于人工评估,且情感文本翻译存在显著问题。通过引入新的评估技术和数据集,旨在提升机器翻译的准确性和可靠性,强调多维质量指标的重要性。
完成下面两步后,将自动完成登录并继续当前操作。