RWKV-5/6（Eagle & Finch）：基于矩阵值状态和动态递归的新模型架构
内容提要
RWKV Foundation发布了新架构的最新论文，介绍了Eagle和Finch两种改进的RWKV架构，提高了模型表达能力和推理效率。新架构还增强了多语言能力，并在基准测试中表现出竞争力。未来的工作将聚焦于扩大训练数据集和训练更大规模的Finch模型。
延伸解读
架构升级：从向量到矩阵，从静态到动态
Eagle (RWKV-5) 将 RWKV-4 的向量值状态升级为多头矩阵值状态，并引入动态递归机制，增强了模型表达能力。Finch (RWKV-6) 进一步加入数据相关函数和低秩自适应，使时间混合和令牌移位更灵活。这些改进在保持 RNN 推理效率的同时，提升了模型性能。
多语言与代码能力：新分词器与数据集
RWKV 新架构采用 RWKV World Tokenizer 和 RWKVWorld v2 数据集（1.12T tokens），其中约70%为英语，15%为多语言，15%为代码。分词器基于 Trie 的贪婪匹配，包含不常见语言词汇，旨在提升多语言和代码任务表现。
性能表现：MQAR、长上下文与效率
在 MQAR 测试中，Finch 在多种序列长度下准确度稳定，优于 RWKV-4、RWKV-5 和其他非 Transformer 架构。长上下文实验中，Finch 在 4096 上下文训练下可适应 20000 以上长度，表现优于 Eagle。速度和显存方面，Finch 内存使用比 Flash Attention 少40%，比 Mamba 少17%。
未来方向：扩大数据与模型规模
RWKV 团队计划扩大训练语料库，并训练更大规模的 Finch 模型（如 7B 和 14B），同时通过 Mixture of Experts 降低推理和训练成本。当前 RWKVWorld v2 仅 1.12T tokens，远小于 LLaMA2 等模型，扩展数据是提升性能的关键。
Q&A
RWKV-5和RWKV-6模型的主要改进是什么？
RWKV-5通过多头矩阵值状态和动态递归机制提高了表达能力，RWKV-6引入新的数据相关函数和低秩自适应函数，进一步增强表现能力。
新架构的多语言能力如何增强？
新架构使用了包含1.12T tokens的多语言语料库和快速分词器RWKV World Tokenizer，以增强多语言能力。
Finch模型在基准测试中的表现如何？
Finch模型在MQAR测试中表现稳定，准确度优于RWKV-4和RWKV-5，尤其在长上下文任务中表现更佳。
RWKV Foundation未来的工作重点是什么？
未来的工作将集中在扩大训练数据集和训练更大规模的Finch模型，以提升模型性能。
Eagle和Finch模型的参数有哪些？
Eagle模型有0.4B、1.5B、3B和7B参数，Finch模型有1.6B和3B参数。
RWKV World Tokenizer的特点是什么？
RWKV World Tokenizer通过基于Trie的greedy matching实现快速分词，并包含不常见语言的词汇。
