MatMul：一种革命性的语言模型方法
原文中文，约1200字，阅读约需3分钟。发表于：。一种革命性的语言模型方法，完全消除矩阵乘法 (MatMul)，同时又不损失性能论文《可扩展的无 MatMul 语言建模》讨论了如何开发可扩展且高效的语言模型，从而避免矩阵乘法(MatMul) 运算。 在这项工作中，我们表明 MatMul 操作可以完全从 LLM 中消除，同时在十亿参数规模下保持强劲性能。 无 MatMul 模型： 提出的无 MatMul 模型实现了与最先进的...
这篇文章介绍了一种革命性的语言模型方法MatMul，可以完全消除矩阵乘法操作，并保持强劲性能。无MatMul模型实现了与最先进的Transformers相当的性能，且内存使用量最多可减少61%。通过优化的内核，在推理过程中内存消耗可减少10倍以上。此外，还介绍了在FPGA上构建的自定义硬件解决方案，使LLM更接近类似大脑的效率。网友对这一方法表示了好奇和疑虑。
