Dynamic Compressing Prompts for Efficient Inference of Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种动态压缩提示(LLM-DCP)的方法,旨在降低大型语言模型推理中的计算成本和性能限制。该方法有效减少了提示标记数量,同时保持模型性能,实验结果表明其在高压缩率下优于现有技术,具有良好的应用潜力。

🏷️

标签

➡️

继续阅读