极道
·
MatMul：一种革命性的语言模型方法
💡
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
这篇文章介绍了一种革命性的语言模型方法MatMul，可以完全消除矩阵乘法操作，并保持强劲性能。无MatMul模型实现了与最先进的Transformers相当的性能，且内存使用量最多可减少61%。通过优化的内核，在推理过程中内存消耗可减少10倍以上。此外，还介绍了在FPGA上构建的自定义硬件解决方案，使LLM更接近类似大脑的效率。网友对这一方法表示了好奇和疑虑。
🎯
关键要点
-
MatMul是一种革命性的语言模型方法，完全消除矩阵乘法操作。
-
无MatMul模型在十亿参数规模下保持强劲性能，与最先进的Transformers相当。
-
无MatMul模型的内存使用量最多可减少61%。
-
通过优化的内核，推理过程中内存消耗可减少10倍以上。
-
在FPGA上构建的自定义硬件解决方案提高了LLM的效率，功耗仅为13W。
-
网友对新硬件和优化表示怀疑，但认为如果属实将对行业产生重大影响。
-
对Transformer模型的简单性和计算成本提出了质疑，认为其不是LLM进化的最终阶段。
-
论文中提到的注意力机制灵感来源于bitnet等，但无需矩阵乘法。
-
训练成本较高，收敛时间较长是进行预训练时的主要关注点。
➡️
