大语言模型在机器翻译质量标注中的应用：人类与模型均面临挑战
内容提要
论文评估大语言模型在机器翻译质量标注中与人工标注的一致性，比较MQM和ESA两种方案。结果显示，模型与人工一致性在部分任务上超过人工间一致性，但随方案、语对和领域差异大，多数场景仍不可靠。人工难处理细粒度MQM和低资源语对，模型难处理小错误、错误语言变体及错误跨度标注，未来可探索人机协作标注。
延伸解读
评估范围与数据基础
该研究在70个语对的长上下文测试集以及公开的WMT23和WMT25数据上评估大语言模型，覆盖多种语言对和领域，并同时考察分数标注和错误跨度标注的一致性。这种多维度设计有助于揭示模型在不同条件下的表现差异，而非仅给出单一结论。
模型与人工一致性的复杂表现
结果显示，在某些评估任务上，大语言模型与人工标注者的一致性超过人工标注者之间的一致性，但这一优势并不稳定，会随标注方案、语言对和领域发生显著变化。因此，不能简单认为模型可替代人工，多数场景下其可靠性仍然不足。
双方各自面临的难点
人工标注者尤其难以处理细粒度的MQM标注和低资源语言对；而大语言模型则在小错误、错误语言变体以及错误跨度标注上表现不佳。这些挑战说明，单纯增加模型规模或数据量未必能解决所有问题，需要针对具体难点设计改进方案。
人机协作的潜在方向
鉴于人工和模型各有局限，研究提出未来可探索人机协作标注流程，以应对本工作中发现的可靠性问题。这种协作可能结合人工的细致判断与模型的高效处理，但具体效果仍需进一步验证，不能直接推断为成熟方案。
Q&A
大语言模型在机器翻译质量标注中与人工标注的一致性如何？
论文评估显示，LLM与人工标注的一致性在部分任务上超过人工间一致性，但随标注方案、语对和领域差异大，多数场景仍不可靠。
论文比较了哪两种机器翻译质量评估方案？
论文比较了Multidimensional Quality Metrics (MQM)和Error Span Annotation (ESA)两种方案。
人类标注者在机器翻译质量标注中面临哪些挑战？
人类标注者尤其难以处理细粒度MQM标注和低资源语对。
LLM在机器翻译质量标注中面临哪些挑战？
LLM难以处理小错误、错误语言变体以及错误跨度标注。
论文使用了哪些数据集进行实验？
论文使用了包含70个语对的长上下文测试集以及公开的WMT23和WMT25数据。
论文对未来机器翻译质量标注的改进方向有何建议？
论文建议探索人机协作标注流程，以解决本研究中发现的可靠性问题。
