重用奖励：零 - shot 跨语对齐的奖励模型转移
内容提要
本文介绍了一种基于深度强化学习的跨语言文本摘要模型，利用双语语义相似性作为奖励，取得了优于强基线的效果。研究表明，高容量多语言模型在零样本情况下表现更佳，并提出了一种新的参数高效的跨语言转移学习框架，显著减少语言间差异，尤其在低资源场景中。通过对齐方法和奖励模型的优化，提升了跨语言能力和生成模型的性能。
延伸解读
跨语言迁移的任务差异
文章指出，跨语言零样本迁移的效果因任务而异：语义文本相似度检验表现最强，情感分析次之，机器阅读理解最弱。这一发现提示读者，在将跨语言模型应用于具体任务时，需考虑任务本身的特性，不能一概而论。对于机器阅读理解等较弱任务，可能需要额外的对齐或微调策略来提升性能。
参数高效迁移的实用价值
文章提出一种参数高效的跨语言迁移学习框架，仅需全模型0.16%的额外参数即可显著减少语言间差异，尤其在低资源场景中表现突出。这意味着在实际部署中，可以大幅降低计算和存储成本，同时保持跨语言性能。对于资源有限的研究者或开发者，这种方案提供了可行的迁移学习路径。
奖励模型转换与多属性对齐
文章探讨了从偏好数据学习奖励模型时，奖励的单调转换选择问题，并指出一种基于Bradley-Terry模型的自然转换能强调改进表现较差的输出，从而减轻欠拟合和奖励欺骗。此外，该转换通过逻辑合取实现多奖励聚合，可准确刻画输出在所有属性上“好”的概率。这为RLHF中多属性对齐提供了原则性方法。
Q&A
什么是跨语言文本摘要模型？
跨语言文本摘要模型是一种利用深度强化学习生成摘要的模型，通过双语语义相似性作为奖励来提升性能。
高容量多语言模型在零样本情况下的表现如何？
高容量多语言模型在零样本情况下表现更佳，尤其在跨语言序列标注任务中。
如何减少语言间的差异？
通过提出新的参数高效的跨语言转移学习框架和基于翻译的对齐方法，可以显著减少语言间的差异。
CrossAligner的作用是什么？
CrossAligner是一种有效的零-shot跨语言传递任务知识的方法，利用未标记并行数据进行学习对齐。
跨语言迁移在不同任务中的表现如何？
跨语言迁移在语义文本相似度检验中表现最强，情感分析次之，机器阅读理解表现最弱。
如何提升生成模型的跨语言能力？
通过对齐方法和奖励模型的优化，可以显著提升生成模型的跨语言能力，并减小性能差异。
