跨语言标签投影的约束解码
内容提要
本文综述跨语言序列标注的迁移方法，包括标签投影、零样本迁移和去偏置学习。标记后翻译法（如EasyProject）优于词对齐法；高容量多语言模型在零样本场景下表现更佳；T-Projection和CROP等新框架显著提升F1值，低资源语言识别取得进展。
延伸解读
标签投影方法对比：标记后翻译更优
文章指出，在跨语言序列标注的标签投影中，标记后翻译（mark-then-translate）方法（如EasyProject）在保留标签跨度边界后，性能优于基于词对齐的方法。这一结论基于42种语言和三个任务（问答、命名实体识别、事件抽取）的实验，表明标签投影时保持跨度完整性对最终效果至关重要。
零样本迁移：高容量多语言模型表现更佳
文章通过实验证明，在零样本跨语言序列标注场景下，使用高容量多语言语言模型（基于模型的跨语言转移）比基于数据转移的方法表现更好。作者推测这可能源于语言使用的重要差异，意味着在缺乏目标语言标注数据时，优先考虑模型容量而非数据投影可能更有效。
低资源语言识别：去偏置与联合学习带来提升
文章提到，通过显式去偏置层对跨语言映射错误进行更正，并联合学习金标准标注和投影标注语料，在仅有1000个金标准标注和丰富平行数据的情况下，系统在8个低资源设置及马达加斯加语和基尼阿瓦达语上达到或超过最先进水平。这表明去偏置和联合学习能有效缓解投影噪声，提升低资源语言性能。
新框架进展：T-Projection与CROP显著提升F1
文章综述了T-Projection和CROP等新框架。T-Projection将标签投影分解为候选集生成和选择，在三个下游任务和五种语言上平均F1比先前方法提高8个百分点以上；CROP通过多语言标记序列翻译模型实现端到端冷启动实体识别，在两个数据集上大幅优于强基线并达到最先进性能。这些进展表明端到端和分解式方法能有效提升跨语言序列标注效果。
Q&A
跨语言序列标注中，标记后翻译（mark-then-translate）方法相比词对齐方法有什么优势？
标记后翻译方法（如EasyProject）在保留标签跨度边界后，性能优于基于单词对齐的方法。
在零样本跨语言序列标注中，基于模型的高容量多语言语言模型与基于数据转移的方法哪个更好？
实验证明，使用高容量多语言语言模型在零样本情况下比基于数据转移的方法表现更好，这可能是因为语言使用存在重要差异。
T-Projection方法如何提升跨语言序列标注的性能？
T-Projection基于预训练文本到文本语言模型和机器翻译技术，将标签投影分解为候选集生成和候选集选择两步，在三个下游任务和五种语言上平均F1分数比之前方法提高8个百分点以上。
CROP框架是如何实现跨语言冷启动实体识别的？
CROP通过多语言标记序列翻译模型，先将目标序列翻译为源语言并由源NER模型标记，然后采用标记的序列翻译模型将标记序列投射回目标语言并标记原始句子，实现端到端模型，在两个数据集上大幅优于强基线并达到最先进性能。
去偏置学习在跨语言序列标注中如何帮助低资源语言？
通过显式去偏置层对跨语言映射错误进行更正，联合学习金标准标注和投影标注语料库，在仅有1000个金标准标注和丰富平行数据下，系统在8个低资源设置和马达加斯加语、基尼阿瓦达语上等于或超过最先进技术水平。
跨语言零样本迁移在不同NLU任务上的表现有何差异？
对XLM-RoBERTa的实验发现，跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。
