基于变换器的自回归流在连续空间中的灵活语言建模
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
自回归模型在语言建模中取得了显著进展。本文提出了一种新框架TarFlowLM，将语言建模从离散标记空间转向连续潜在空间，利用变换器基础的自回归正则化流。该方法能够捕捉双向上下文，灵活生成标记，并支持分层多次生成，展现出强大的建模能力和理论联系。
🎯
关键要点
- 自回归模型在语言建模中取得了显著进展。
- 本文提出了一种新框架TarFlowLM，将语言建模从离散标记空间转向连续潜在空间。
- TarFlowLM利用变换器基础的自回归正则化流来建模连续表示。
- 该方法能够捕捉双向上下文，支持灵活的标记生成。
- 支持分层多次生成，展现出强大的建模能力。
- 提出了新的混合耦合变换，以捕捉潜在空间中复杂的依赖关系。
- 与传统的离散自回归模型之间存在理论联系。
- 在语言建模基准测试中表现出强大的似然性能。
➡️
