量子位
·
32倍压缩率下性能反超25个点！破解长文本压缩「翻车」难题 | ICLR 2026
内容提要
COMI团队提出了一种新型长文本压缩方法，通过边际信息增益（MIG）优化相关性与多样性，解决了高压缩率下性能下降的问题。在32倍压缩下，该方法显著提升了模型推理能力，确保多样化信息的保留，推动了大模型的轻量化与实用化。
关键要点
-
COMI团队提出了一种新型长文本压缩方法，通过边际信息增益优化相关性与多样性。
-
现有压缩方法在高压缩率下性能下降，主要因为只关注相关性而忽略多样性。
-
高质量压缩需要同时优化与查询的相关性和信息单元间的多样性。
-
COMI框架通过边际信息增益指标与粗到细压缩策略，在32倍压缩率下保留多样化的关键证据链。
-
边际信息增益（MIG）指标用于权衡相关性与冗余性，避免信息内卷。
-
COMI采用两阶段策略：粗粒度组重分配和细粒度token融合，确保压缩后的信息价值最大化。
-
在多个数据集上，COMI在32倍压缩下表现优越，显著提升模型推理能力。
-
COMI不仅实现了高压缩率下的性能提升，还提高了推理速度，为工业级部署提供了可能。
-
真正的高质量压缩是通过消除冗余干扰实现信息提纯，而非简单的删减。
延伸问答
COMI团队提出的长文本压缩方法有什么创新之处？
COMI团队通过边际信息增益（MIG）优化相关性与多样性，提出了一种新型的长文本压缩方法，解决了高压缩率下性能下降的问题。
现有的长文本压缩方法为何会在高压缩率下性能下降？
现有方法主要关注相关性，忽略多样性，导致保留大量相似的冗余内容，造成信息内卷，影响模型性能。
边际信息增益（MIG）在COMI框架中起什么作用？
MIG用于权衡相关性与冗余性，帮助优化压缩决策，确保保留与查询相关且多样化的信息。
COMI框架的压缩策略是怎样的？
COMI采用两阶段策略：粗粒度组重分配和细粒度token融合，确保压缩后的信息价值最大化。
COMI在实际应用中表现如何？
在多个数据集上，COMI在32倍压缩下表现优越，显著提升了模型推理能力和速度，适合工业级部署。
高质量压缩的定义是什么？
高质量压缩是通过消除冗余干扰实现信息提纯，而非简单的删减，确保每一比特都承载多样化的信息价值。
