RWKV-5/6（Eagle & Finch）：基于矩阵值状态和动态递归的新模型架构
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
RWKV Foundation发布了新架构的最新论文，介绍了Eagle和Finch两种改进的RWKV架构，提高了模型表达能力和推理效率。新架构还增强了多语言能力，并在基准测试中表现出竞争力。未来的工作将聚焦于扩大训练数据集和训练更大规模的Finch模型。
❓
Q&A
RWKV-5和RWKV-6模型的主要改进是什么？
RWKV-5通过多头矩阵值状态和动态递归机制提高了表达能力，RWKV-6引入新的数据相关函数和低秩自适应函数，进一步增强表现能力。
新架构的多语言能力如何增强？
新架构使用了包含1.12T tokens的多语言语料库和快速分词器RWKV World Tokenizer，以增强多语言能力。
Finch模型在基准测试中的表现如何？
Finch模型在MQAR测试中表现稳定，准确度优于RWKV-4和RWKV-5，尤其在长上下文任务中表现更佳。
RWKV Foundation未来的工作重点是什么？
未来的工作将集中在扩大训练数据集和训练更大规模的Finch模型，以提升模型性能。
Eagle和Finch模型的参数有哪些？
Eagle模型有0.4B、1.5B、3B和7B参数，Finch模型有1.6B和3B参数。
RWKV World Tokenizer的特点是什么？
RWKV World Tokenizer通过基于Trie的greedy matching实现快速分词，并包含不常见语言的词汇。
🏷️
