BriefGPT - AI 论文速递 · 2025-05-12T00:00:00Z Comet: Accelerating Private Inference for Large Language Models by Predicting Activation Sparsity 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本研究提出了一种名为Comet的高效私密推理系统，旨在解决大型语言模型推理中的隐私泄露问题。Comet通过预测激活函数的稀疏性，避免零值计算，并采用低通信开销的缓存策略，从而显著提升推理速度和减少通信量。 🏷️ 标签 Comet models 大型语言模型 推理速度 私密推理 隐私泄露 阅读原文 生成长图 分享链接 已复制链接
