BriefGPT - AI 论文速递 · 2023-12-07T00:00:00Z 一个用于并行函数调用的 LLM 编译器 💡 原文中文，约200字，阅读约需1分钟。 📝 内容提要 本论文提出了一种高效的方法，通过自动 INT4 纯权重量化流和设计具有高度优化内核的特殊 LLM 运行时，在 CPU 上加速 LLM 推理。该方法对多种流行 LLM 的普适性，并展示了在 CPU 上的极高推理效率。 🏷️ 标签 CPU加速 INT4纯权重量化流 llm 函数调用 极高推理效率 特殊LLM运行时 编译器 高效方法 阅读原文 生成长图 分享链接 已复制链接
