量子位
·
微软Win11中发现国产开源大模型！RWKV官方：没人给我钱啊？现在捐赠还来得及
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
微软Win11中可能使用国产开源大模型RWKV，该模型具有低时间复杂度和快速生成内容的特点。RWKV团队推出了两种新架构模型，提高了表达能力和推理效率。
🎯
关键要点
- 微软Win11中可能集成国产开源大模型RWKV，具有低时间复杂度和快速生成内容的特点。
- RWKV团队推出了两种新架构模型Eagle (RWKV-5)和Finch (RWKV-6)，提高了表达能力和推理效率。
- RWKV模型支持100多种语言，适合全球化部署，能耗低，适合各种设备运行。
- RWKV的时间复杂度为O(n)，显存占用恒定，生成内容速度不随长度增加而显著增长。
- RWKV团队由来自27家大学和研究机构的研究人员组成，作者达30人。
- RWKV的最新架构引入了新的多语言语料库，包含1.12万亿个token，并开发了快速的分词器。
➡️
