微软Win11中发现国产开源大模型！RWKV官方：没人给我钱啊？现在捐赠还来得及
内容提要
微软Win11中可能使用国产开源大模型RWKV，该模型具有低时间复杂度和快速生成内容的特点。RWKV团队推出了两种新架构模型，提高了表达能力和推理效率。
延伸解读
RWKV在Windows 11中的发现与验证
文章指出，在最新版Windows 11的Office文件夹中发现了以rwkv命名的DLL文件，包含GPU和CPU版本。反编译检查显示，这些文件是GitHub上RWKV.cpp项目的一种变体。用户可以通过特定路径自行验证，或在Copilot Windows 11设备上搜索系统文件中的rwkv。这一发现引发了关于微软是否在未公开情况下集成RWKV的讨论。
RWKV的技术优势与潜在应用场景
RWKV模型具有低时间复杂度和恒定显存占用的特点，生成内容的速度不随长度增加而显著增长，且运行能耗低，适合在树莓派等各种设备上高效运行。这些特性使其可能适用于微软正在测试的本地Copilot、memory recall等功能，尤其是需要实时AI处理的场景。此外，RWKV支持100多种语言，有利于全球化部署。
RWKV的架构演进与团队背景
RWKV团队推出了Eagle (RWKV-5)和Finch (RWKV-6)两种新架构，在多头矩阵值状态和动态递归机制上做了改进，提高了表达能力和推理效率。新架构引入了包含1.12万亿个token的多语言语料库，并开发了快速分词器。团队由来自27家大学和研究机构的研究人员组成，作者达30人，共同一作彭博具有高频量化交易和深度卷积网络背景。
Q&A
RWKV模型的主要特点是什么？
RWKV模型具有低时间复杂度和快速生成内容的特点，支持100多种语言，能耗低，适合各种设备运行。
微软可能如何使用RWKV模型？
微软可能将RWKV用于本地Copilot、memory recall等功能，以提高实时处理能力。
RWKV与传统Transformer模型相比有什么优势？
RWKV的时间复杂度为O(n)，显存占用恒定，生成内容速度不随长度增加而显著增长，能耗低。
RWKV团队的背景是什么？
RWKV团队由来自27家大学和研究机构的研究人员组成，共有30位作者，致力于开发新型模型。
RWKV的最新架构有哪些新特性？
RWKV最新架构Eagle (RWKV-5)和Finch (RWKV-6)提高了表达能力和推理效率，并引入了新的多语言语料库。
RWKV模型的能耗表现如何？
RWKV模型的能耗低，适合在包括树莓派等各种设备上高效运行，能耗对设备电池寿命至关重要。
