基于变换器的自回归流在连续空间中的灵活语言建模

Apple Machine Learning Research · 2025-09-22T00:00:00Z

自回归模型在语言建模中取得了显著进展。本文提出了一种新框架TarFlowLM，将语言建模从离散标记空间转向连续潜在空间，利用变换器基础的自回归正则化流。该方法能够捕捉双向上下文，灵活生成标记，并支持分层多次生成，展现出强大的建模能力和理论联系。