评估大规模语言模型在古典中文诗歌翻译中的表现：有效性、流畅性和优雅性
内容提要
本文探讨了基于RNN编码器-解码器模型的古典诗歌生成，利用序列-序列学习方法生成汉语绝句。研究表明，注意力机制有效捕捉诗歌中的词语联系，且训练时颠倒目标行可提升性能。此外，提出的基于解释的诗歌机器翻译方法优于传统翻译，为机器辅助文学翻译提供新视角。
延伸解读
从生成到翻译：古典诗歌NLP任务演进
文章梳理了古典诗歌自然语言处理的研究脉络：早期工作聚焦于用RNN编码器-解码器生成绝句，并发现注意力机制能捕捉词语联系、颠倒目标行可提升性能；随后研究转向诗歌翻译，探索无监督机器翻译、多语言微调等方向。这一演进显示，该领域从“让机器写诗”逐步扩展到“让机器译诗”，任务难度和评价维度都在增加。
评估诗歌翻译：自动指标与人工判断的落差
文中提到，在评估ChatGPT翻译外交文本时，自动度量与人工评估维度的相关性弱且不显著。这提示读者，诗歌翻译的评估尤其不能只依赖BLEU等自动指标。诗歌的优雅性、流畅性和意境传达，需要专业诗人或人工评估者来判断。文章后续采用专业诗人评估和GPT-4评估，正是对这一问题的回应。
基于解释的翻译方法：让机器先理解再翻译
文章提出基于解释的诗歌机器翻译（EAPMT）方法，利用单语诗歌解释作为翻译过程的指导信息。与传统直接翻译相比，这种方法让模型先获得对原诗语义的解释，再生成译文。专业诗人和GPT-4的评估均显示EAPMT优于传统翻译和现有在线系统，说明为模型提供解释性中间步骤，可能有助于提升文学翻译质量。
多语言微调与提示工程：提升诗歌翻译的可行路径
文章指出多语言微调在诗歌翻译中具有重要性和优越性，同时提到提示工程对ChatGPT性能的影响：提供示例或上下文信息时，人工评估者更倾向于给ChatGPT较高评分。这两点结合起来，为改进诗歌翻译提供了可操作方向——通过多语言数据微调模型，并设计包含解释或示例的提示，可能比单纯依赖通用模型取得更好效果。
Q&A
RNN编码器-解码器模型在古典诗歌生成中有什么优势？
该模型能够学习单句语义及行与行之间的语义相关性，生成高质量的汉语绝句。
注意力机制如何影响古典诗歌的翻译效果？
注意力机制有效捕捉诗歌中的词语联系，从而提升翻译的流畅性和优雅性。
什么是基于解释的诗歌机器翻译方法？
这是一种利用单语诗歌解释作为翻译过程指导的信息的方法，优于传统翻译。
无监督机器翻译方法在诗歌翻译中有什么优势？
它在语义上给予用户更多控制权，并取得了良好的实验效果。
多语言微调在诗歌翻译中为何重要？
多语言微调能够提高翻译的准确性和优越性，适应不同语言的特性。
如何提高生成古典诗歌的质量？
通过优化输入口诀和使用强化学习等方法，可以显著提高生成诗歌的质量。
