本研究提出了一种新颖的视觉令牌化方法TokLIP，旨在解决多模态统一中的高计算开销和理解性能问题。通过语义化向量量化和CLIP语义融合，TokLIP实现了高效的数据处理，提升了视觉令牌的语义理解和生成能力，适用于自回归Transformer的任务。