本文介绍了五种提示压缩技术，以减少大型语言模型（LLM）的令牌数量，提升生成速度和任务质量。这些技术包括语义摘要、结构化提示、相关性过滤、指令引用和模板抽象，旨在提高模型效率和一致性，降低计算成本。

微软的LLMLingua工具通过学习可省略部分实现提示压缩，而一种轻量级的规则基础语义压缩器则利用智能启发式和NLP工具，无需训练。实验表明，压缩比达到22.42%，在保持意义的同时显著节省令牌，适用于客户支持和内容审核等场景。

大型语言模型（LLMs）改变了与人工智能的互动方式，但API使用成本高。为降低令牌使用而不影响输出质量，提示压缩至关重要。本文介绍了微软研究人员的LLMLingua-2方法，通过数据蒸馏实现高效的任务无关提示压缩，降低成本同时保持性能。