RWKV-5/6（Eagle & Finch）：基于矩阵值状态和动态递归的新模型架构
原文约2900字，阅读约需7分钟。发表于：。RWKV 发布了新架构论文——《Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence》
RWKV Foundation发布了新架构的最新论文，介绍了Eagle和Finch两种改进的RWKV架构，提高了模型表达能力和推理效率。新架构还增强了多语言能力，并在基准测试中表现出竞争力。未来的工作将聚焦于扩大训练数据集和训练更大规模的Finch模型。
