量子位
·
32倍压缩率下性能反超25个点！破解长文本压缩「翻车」难题 | ICLR 2026
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
COMI团队提出了一种新型长文本压缩方法，通过边际信息增益（MIG）优化相关性与多样性，解决了高压缩率下性能下降的问题。在32倍压缩下，该方法显著提升了模型推理能力，确保多样化信息的保留，推动了大模型的轻量化与实用化。
🎯
关键要点
- COMI团队提出了一种新型长文本压缩方法，通过边际信息增益优化相关性与多样性。
- 现有压缩方法在高压缩率下性能下降，主要因为只关注相关性而忽略多样性。
- 高质量压缩需要同时优化与查询的相关性和信息单元间的多样性。
- COMI框架通过边际信息增益指标与粗到细压缩策略，在32倍压缩率下保留多样化的关键证据链。
- 边际信息增益（MIG）指标用于权衡相关性与冗余性，避免信息内卷。
- COMI采用两阶段策略：粗粒度组重分配和细粒度token融合，确保压缩后的信息价值最大化。
- 在多个数据集上，COMI在32倍压缩下表现优越，显著提升模型推理能力。
- COMI不仅实现了高压缩率下的性能提升，还提高了推理速度，为工业级部署提供了可能。
- 真正的高质量压缩是通过消除冗余干扰实现信息提纯，而非简单的删减。
➡️
