本文探讨了哔哩哔哩在视频生成模型优化方面的实践，重点介绍了分块自回归模型的计算与通信优化。通过引入因果注意力和KV缓存机制，Self-Forcing模型实现了更高效的视频生成，降低了延迟，并支持长视频生成和实时推理。

AI天气预报模型通过生成合成气候数据，解决了长期预报中的数据稀缺问题。研究者提出的长距离蒸馏方法，利用自回归模型生成大量数据，训练出仅需单步计算的概率模型，显著提高了预报准确性，已达到与欧洲中期天气预报中心相当的水平。

Dream 7B是一种新型的扩散语言模型，采用去噪方法，能够更好地处理上下文，提高生成灵活性和规划能力。与传统模型相比，Dream 7B在多项任务中表现优异，显示出扩散模型可能会取代自回归模型。

个性化图像合成在文本到图像生成中至关重要，尤其在数字艺术和广告领域。研究探讨了自回归模型的潜力，提出了两阶段训练策略以优化文本嵌入和微调变换器层。实验结果表明，该方法在主题保真度和提示跟随方面与主流扩散模型相当，展示了自回归模型的有效性和应用前景。

扩散语言模型（DLMs）旨在克服自回归模型的局限性。本文提出通过适应自回归模型构建文本扩散模型，展示了自回归与扩散建模目标之间的联系，并介绍了一种持续预训练方法。实验结果表明，转换后的模型在语言建模和推理基准上表现优异，超越了早期的DLMs，并与自回归模型竞争。

自回归视觉生成模型通过离散和连续token实现高质量图像合成。TokenBridge采用新颖的训练后量化技术，显著提升生成效果，且在参数更少的情况下优于传统模型，为未来视觉合成技术提供新思路。

新型多模态自回归模型（MAR）能够有效生成长文本对应的图像，克服了现有模型在处理超过75字提示时的局限性。该方法保留了文本的语义，并提出了新的图像质量评估指标。

MIT和NVIDIA的研究人员开发了HART工具，结合自回归模型与扩散模型，能够快速生成高质量图像。HART的速度比传统扩散模型快九倍，适用于机器人训练和游戏设计等多个领域。

研究提出大型语言扩散模型（LLDMs），作为自回归模型的替代方案。该模型结合扩散模型与语言建模，实现并行文本生成，降低计算需求，并在质量指标上与自回归模型相当。

LLaDA是一种新型语言生成模型，采用掩码扩散机制，突破了传统自回归模型的局限，展现出在可扩展性、上下文学习和指令遵循等方面的优越性。