本研究分析了构建本地大型语言模型（LLMs）的原因，并评估了35种日语和多语言LLMs在19个评估基准上的表现。结果表明，英语文本训练能提高日语评分，而日语特定文本训练则有助于日语知识问答和翻译任务，揭示了日本能力与计算资源的关系。

本研究提出了一种新型语音理解模型，结合少量语音数据与大量文本数据，验证了其在语音识别和翻译任务中的有效性。该模型利用预训练的语言模型，在多任务和多语种环境中表现出色，具备零-shot能力，能够在低资源语言上实现良好性能，展示了构建高效语音语言模型的潜力。

本文提出结合依赖树结构与传统序列位置编码的方法，以提升中英和英德翻译任务中的自我注意力网络表现。研究表明，该方法在多项自然语言处理任务中均能稳定提高性能。

本文探讨了约束文本生成问题，提出了一种结合约束编程的方法，成功生成高度约束的文本。研究表明，详细的约束条件与大型语言模型的结合提升了文本生成的准确性和稳定性，尤其在知识图谱补全和翻译任务中表现突出。

本文提出了并行迭代编辑（PIE）模型，旨在解决本地序列转导问题，提升速度和准确性。同时，研究探讨了多种位置编码方法，如上下文位置编码和动态位置编码，以增强大型语言模型在处理长序列和翻译任务中的性能。

本文探讨了大型语言模型（LLM）自我纠错的作用，发现其在缺乏外部反馈时难以自我修正，甚至可能导致性能下降。研究提出了一种基于“confidence”的提示框架，以提升自我纠正的准确性，并探讨了自我纠正对可信度和真实性的影响。实验证明，改进的自我纠正机制能显著提高模型性能，尤其在翻译和推理任务中。

通过重新制定微调期间的输入，利用预训练模型在新颖的方式下发挥其优势，无需额外收集训练数据或在推理时修改数据，这些简单的数据级别修改方案在单语言对翻译任务或大规模多语言翻译任务中都可以应用，实验证明这些技术在 Flores200 翻译基准测试中实现了显著的性能提升达到 3.5 chrF++。我们希望通过提高微调数据效率的可访问性，使训练更加有效，以达到可扩展改进的最新性能水平。

该文介绍了一种新的微调方法，设计了一种面向翻译任务的先进语言模型的翻译器ALMA，该模型在WMT'21和WMT'22的测试数据集上相比之前的工作和具有7B或13B参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

本研究介绍了WeChat AI在WMT 2021共享新闻翻译任务中的参与，并使用Transformer等多种方法生成大量合成数据，实现了英语到中文、英语到日语、日语到英语和英语到德语的翻译。通过高级微调方法和基于Self-BLEU的模型加强，得到了36.9、46.9、27.8和31.3的BLEU分数。其中英语到中文、英语到日语和日语到英语的BLEU分数最高，英语到德语的BLEU分数是有限制提交中最高的。