VideoFlexTok是一种灵活的视频标记方法,通过粗到细的方式表示视频,初始标记捕捉抽象信息,后续标记添加细节。这种结构允许根据需求调整标记数量,提升训练效率,生成质量与传统3D网格标记相当,但模型更小,支持长视频生成,计算成本低。
TrajTok是一种视频标记模块,通过动态调整标记粒度,解决视频模型中的标记冗余问题。它集成了统一的分割器,能够高效生成对象轨迹,提升视频理解性能。在分类和检索基准测试中表现优异,可作为预训练视觉特征的探测头或视觉-语言模型的连接器。
完成下面两步后,将自动完成登录并继续当前操作。