全球TMT-美通国际
·
移远通信与RWKV共同推动大模型在端侧设备的低资源占用部署
💡
原文中文，约700字，阅读约需2分钟。
📝
内容提要
移远通信与RWKV公司合作，优化RWKV大模型在端侧设备的部署。RWKV结合了RNN和Transformer的优点，具有低推理和训练成本。双方在2025世界人工智能大会展示了RWKV Chat和数独解决方案，移远的SG885G平台支持多模态模型的本地推理，兼容多种开源模型。
🎯
关键要点
- 移远通信与RWKV公司建立全面合作关系，优化RWKV大模型在端侧设备的部署。
- RWKV结合了RNN和Transformer的优点，推理和训练成本显著低于Transformer。
- RWKV技术的核心突破在于引入RWKV算子替代Transformer的位置编码和多头注意力机制。
- 在2025世界人工智能大会上，RWKV Chat和RWKV数独解决方案首次亮相。
- RWKV Chat是一款离线AI聊天应用，支持个性化会话配置。
- RWKV数独展示了20M超小参数模型在超长链式推理下的数学解题能力。
- 移远的SG885G平台支持多模态模型的本地推理，兼容多种开源模型。
- SG885G的AI综合算力高达48 TOPS，支持7B左右参数级的模型。
- SG885G兼容的参数范围覆盖0.5B至8B，并支持RWKV7架构，降低算力和内存需求。
➡️
