BriefGPT - AI 论文速递 · 2024-12-16T00:00:00Z Fine-grained Token Pruning for Large Language Models via Token Routing 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本文提出了一种细粒度的令牌修剪方法，通过可学习的路由器识别不重要的令牌，从而降低大语言模型推理中的计算开销。研究表明，该方法在多个基准测试中表现优异，显著提高了准确率保持率。 🏷️ 标签 models 令牌修剪 准确率 基准测试 大语言模型 计算开销 阅读原文 生成长图 分享链接 已复制链接
