高压缩比下的关键信息保留：基于查询引导的 LLMs 压缩器

在高压缩比率下保留关键信息对于维持大型语言模型性能的重要性以及引入使用查询来指导上下文压缩过程的 Query-Guided Compressor (QGC) 的有效性进行了验证，并展示了 QGC 在问题回答任务上能够在高压缩比率下始终表现良好，并对推理成本和吞吐量提供了显着的优势。