CVPR 2026 | 多模态通用的轻量化无损压缩方法
💡
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文介绍了OmniZip，一种轻量化的多模态无损压缩框架，能够高效压缩自然图像、医疗影像和文本等七种模态数据。OmniZip通过统一分词策略和动态路由机制，在保持小参数量的同时显著提升压缩效率，超越传统工具，适用于资源受限的移动设备，实现近实时推理。
🎯
关键要点
- OmniZip是一种轻量化的多模态无损压缩框架，支持自然图像、医疗影像、文本等七种模态数据的高效压缩。
- OmniZip通过统一分词策略和动态路由机制，在保持小参数量的同时显著提升压缩效率，超越传统工具。
- 该框架适用于资源受限的移动设备，实现近实时推理。
- 无损压缩是数据存储与传输的基础，但现有压缩器多针对单模态设计，缺乏统一的跨模态压缩方案。
- OmniZip的核心技术包括模态通用分词器、动态路由建模机制和结构重参数化技术。
- 在16个数据集上，OmniZip的压缩效率较传统工具gzip提升了30%~60%。
- OmniZip在MacBook CPU和iPhone NPU等设备上实现了约1MB/s的近乎实时推理速度。
- OmniZip的编码过程通过统一分词器将不同模态的信号映射为离散词元序列，确保可逆性。
- 解码过程与编码过程对称，保证无损重建。
- OmniZip的轻量化骨干网络选择RWKV架构，以平衡压缩性能与运算效率。
- 统一分词方案消除异构数据在空间维度、统计特性及语义表达上的差异。
- OmniZip在图像、文本和语音等多种模态上均表现出竞争力的压缩性能。
- 实验覆盖七类模态，使用16个公开数据集进行训练与评估，确保多模态训练的稳定性与可比性。
- OmniZip在不同硬件平台上测试性能，显示出良好的并行扩展性与端侧部署可行性。
➡️
