Transformer 可以表示 $n$-gram 语言模型
内容提要
本研究提出了一种改进的 Transformer 模型，结合 n-gram 语言模型与神经网络，以提升自然语言处理任务的性能。实验证明该方法优于传统模型，并强调了 n-gram 在文本分析中的重要性。此外，研究探讨了 Transformer 在抽象符号推理任务中的能力及其在不同行业的应用潜力。
延伸解读
n-gram 与神经网络的融合价值
文章指出，将 n-gram 语言模型与神经网络语言模型结合，能提升自然语言处理任务性能，并在三项典型任务中优于单独使用神经网络模型。这种融合还支持通过切换特定领域的 n-gram 模型实现领域自适应，为实际应用提供了灵活性和效率。
Transformer 在符号推理中的局限与改进
针对抽象符号关系推理，Transformer 在回归任务中具有泛化性但需大量训练数据；在下一个令牌预测任务中，随着嵌入维度增加，模型反而无法泛化，呈现“反比例尺律”。文章提出在每个注意力头添加两个可训练参数，以减少所需数据量。
n-gram 模型的现代化进展
在大型语言模型时代，n-gram 模型仍具重要意义。研究通过在与神经网络相同的数据规模下训练，建立了最大的 n-gram 模型，并引入 suffix 数组驱动的 infini-gram 引擎，支持任意增加 n 的大小，以毫秒级延迟计算无限阶 n-gram 概率。
Q&A
改进的 Transformer 模型是如何结合 n-gram 语言模型的？
改进的 Transformer 模型通过使用文本序列中的离散潜在表示构造 n-gram，并将其应用于语言建模和文本分类中。
该研究的实验结果如何？
实验证明该改进模型的性能优于传统的 Transformer 模型和 Primer，并已在 Jax 中开源以便复现。
n-gram 语言模型在现代自然语言处理中的重要性是什么？
n-gram 语言模型在神经网络大型语言模型时代仍然具有重要意义，展示了其在文本分析中的价值。
Transformer 模型在抽象符号推理任务中的表现如何？
研究表明，Transformer 在抽象符号推理任务中具有泛化性，但需要大量的训练数据。
该研究对 Transformer 模型的行业应用有什么看法？
本文强调了 Transformer 模型在不同行业的应用潜力，展示了其在编码、问题解决等传统任务上的转变性影响。
如何通过 n-gram 模型进行领域自适应？
该方法通过简单地切换到特定领域的 n-gram 模型即可实现有效的领域自适应。
