BriefGPT - AI 论文速递 · 2024-10-06T00:00:00Z

RevMUX: Reversible Adapter Data Reuse for Efficient Batch Inference in LLMs

📝

内容提要

本文介绍了RevMUX框架，通过参数高效的数据复用和可逆设计，提高大语言模型处理并发查询的效率。实验显示，该框架在提升推理效率的同时，保持了良好的分类性能。

🏷️

标签

RevMUX 大语言模型 并发查询 推理效率 数据复用