量子位
·
百元级硬件流畅运行百亿参数大模型！上交&本智激活开源端侧原生大模型
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
上海交通大学与本智激活联合推出的SmallThinker大模型，专为低算力端侧设备设计，能够在普通手机上高效运行，提升AI隐私保护和使用便捷性。
🎯
关键要点
- 上海交通大学与本智激活联合推出SmallThinker大模型，专为低算力端侧设备设计。
- SmallThinker能够在普通手机上高效运行，提升AI隐私保护和使用便捷性。
- 该模型采用原生设计，支持端侧算力、内存和存储特性，具有两个尺寸的稀疏模型。
- SmallThinker在百元级硬件上实现了高达21倍的推理加速，显著优于同类解决方案。
- 模型架构包括双层稀疏架构、专家路由前置和混合稀疏注意力等核心技术特性。
- SmallThinker兼容多种主流推理框架，降低开发者使用门槛。
- PowerInfer是专为SmallThinker设计的端侧推理框架，提升推理速度和内存优化效果。
- SmallThinker在多个权威评测基准上超越同尺寸及更大尺寸的开源模型。
- 在极限内存瓶颈场景下，SmallThinker表现出卓越的运行能力，推理速度远超竞争对手。
- 未来计划包括继续扩展模型能力和打造个人化智能体，提升AI的安全性和私密性。
❓
延伸问答
SmallThinker大模型的主要特点是什么？
SmallThinker大模型专为低算力端侧设备设计，能够在普通手机上高效运行，具有双层稀疏架构和混合稀疏注意力等核心技术特性。
SmallThinker在推理速度上有什么优势？
SmallThinker在百元级硬件上实现了高达21倍的推理加速，尤其在极限内存瓶颈场景下表现卓越。
PowerInfer框架的作用是什么？
PowerInfer是专为SmallThinker设计的端侧推理框架，提升推理速度和内存优化效果，降低开发者使用门槛。
SmallThinker如何保证用户隐私？
SmallThinker通过在本地设备上运行AI模型，确保用户的个人数据不被上传到云端，从而提升隐私保护。
SmallThinker与传统大模型的区别是什么？
SmallThinker是为端侧设备原生设计的，避免了传统大模型的压缩和降智，能够在低算力环境下高效运行。
未来SmallThinker的发展方向是什么？
未来SmallThinker计划继续扩展模型能力，并打造个人化智能体，以提升AI的安全性和私密性。
➡️
