Humanoid-GPT是一种新型的GPT风格Transformer模型，专为人形机器人的零样本运动跟踪设计。研究者利用20亿帧的动作数据进行训练，克服了以往模型在灵活性和泛化能力上的不足。该模型采用因果注意力机制，在未见过的动作和控制任务中表现出色，推动了人形智能体的通用AGI发展。
本文探讨了哔哩哔哩在视频生成模型优化方面的实践，重点介绍了分块自回归模型的计算与通信优化。通过引入因果注意力和KV缓存机制，Self-Forcing模型实现了更高效的视频生成，降低了延迟，并支持长视频生成和实时推理。
本研究提出MAGNET方法，旨在增强解码器的双向建模能力。通过自监督训练和结合双向与因果注意力，MAGNET提升了生成文本和填补缺失文本的能力。
本研究发现，基于因果变换的语言模型（如GPT-3）在没有显式位置编码的情况下仍然具有竞争力。实验结果显示，这种模型通过网络获取隐含的绝对位置概念，从而弥补了缺失的信息。因果注意力使模型能够推断每个令牌可以关注的前任数，从而近似其绝对位置。因此，因果语言模型除了显式的定位机制外，还可以从因果掩码的影响中推导出位置意识。
完成下面两步后，将自动完成登录并继续当前操作。
