大词汇量提升大型语言模型
内容提要
本文探讨了多语言模型中的词汇容量和预训练策略，提出通过扩展词汇表、使用双语数据和构建高质量指令数据集来提升低资源语言的表现。研究表明，简单的词向量初始化方法在资源有限的环境中更有效，且句子级词汇表方法在英法翻译中优于传统大词汇表系统。
延伸解读
低资源语言优化的三种策略
文章提出扩展词汇表、使用双语数据预训练以及构建高质量小规模指令数据集三种策略，以提升低资源语言在大型语言模型中的表现。这些策略分别针对词汇覆盖、跨语言对齐和任务适配，为资源有限场景提供了可操作的方向。
简单初始化方法在资源有限时更有效
在语料资源有限的环境中，基于简单启发式的词向量初始化方法比随机初始化和依赖外部数据的复杂方法更高效、更稳定。这表明在低资源条件下，复杂方法可能因数据不足而失效，简单方法反而能更好地适应目标词汇规模和适应数据的变化。
句子级词汇表提升翻译性能
针对神经机器翻译中大词汇表带来的问题，文章提出句子级或批量级词汇表方法，根据源句子动态选择小目标词汇表。在英法翻译任务中，该方法比使用大词汇表的基线系统在 BLEU 分数上高出 1 个点，说明动态词汇选择能有效缓解大词汇表的副作用。
更大词汇量减少分割并提升性能
希伯来语预训练模型 AlephBERTGimmel 使用 128K 词汇表，实验表明更大词汇量导致更少的分割，而减少分割有助于模型性能，最终在多个基准上达到新的 SOTA。这提示在预训练语言模型中，扩大词汇表可能通过降低分割粒度来提升下游任务表现。
Q&A
如何通过扩展词汇表提升低资源语言的表现？
扩展词汇表可以通过增加可用词汇量来提高低资源语言在大型语言模型中的表现，结合双语数据进行预训练和高质量指令数据集的构建，效果更佳。
什么是VoCap算法，它的作用是什么？
VoCap算法用于确定语言所需的词汇容量，并通过k-NN目标采样加速softmax，从而提高交叉语言模型的预训练速度和性能。
在资源有限的环境中，哪种词向量初始化方法更有效？
在资源有限的环境中，简单启发式的词向量初始化方法更高效、更稳定，优于随机初始化和复杂方法。
句子级词汇表方法在翻译任务中有什么优势？
句子级词汇表方法通过选择小目标词汇表，在英法翻译任务中表现优于传统大词汇表系统，BLEU分数提高了1个点。
如何解决多语言模型中的词汇缺失问题？
可以通过联合映射和混合映射方法来解决多语言模型中的词汇表大小和缺失问题，混合映射方法被认为更有前途。
词汇修剪方法的主要优点是什么？
词汇修剪方法可以将多语言模型压缩至任何语言，同时保持与原始模型相同的性能，且模型大小更小。
