MatMul：一种革命性的语言模型方法
内容提要
这篇文章介绍了一种革命性的语言模型方法MatMul，可以完全消除矩阵乘法操作，并保持强劲性能。无MatMul模型实现了与最先进的Transformers相当的性能，且内存使用量最多可减少61%。通过优化的内核，在推理过程中内存消耗可减少10倍以上。此外，还介绍了在FPGA上构建的自定义硬件解决方案，使LLM更接近类似大脑的效率。网友对这一方法表示了好奇和疑虑。
延伸解读
性能与内存优势
无MatMul模型在十亿参数规模下性能与最先进Transformer相当，且随着模型尺寸增加，性能差距缩小。内存方面，训练时使用GPU高效实现可减少最多61%内存，推理时通过优化内核可减少10倍以上内存消耗。这些数据表明该架构在资源效率上有显著潜力。
硬件创新与能效
研究团队在FPGA上构建了自定义硬件解决方案，利用GPU无法处理的轻量级操作，以13W功耗处理十亿参数模型，吞吐量超出人类可读范围，使LLM更接近类脑效率。这展示了专用硬件在提升能效方面的可能性，但实际部署仍需验证。
训练成本与收敛挑战
网友指出，无MatMul模型需要更长时间收敛，导致训练成本更高，这是预训练时的主要关注点。尽管推理和内存效率有优势，但训练阶段的额外开销可能影响其大规模应用的可行性，需要在效率与成本之间权衡。
行业影响与质疑
网友对新硬件和优化数字表示怀疑，认为如果属实将对行业产生重大影响，甚至可能让英伟达感到紧张。同时，有人质疑Transformer是否为LLM进化的最终阶段，并指出该工作受bitnet等启发，主要成就是无需矩阵乘法的注意力机制。这些讨论反映了对技术突破的谨慎乐观。
Q&A
MatMul方法的主要创新是什么？
MatMul方法完全消除了矩阵乘法操作，同时保持了强劲的性能。
无MatMul模型在性能上与Transformers相比如何？
无MatMul模型在十亿参数规模下的性能与最先进的Transformers相当。
无MatMul模型的内存使用量减少了多少？
无MatMul模型的内存使用量最多可减少61%。
在推理过程中，优化的内核如何影响内存消耗？
通过优化的内核，推理过程中内存消耗可减少10倍以上。
FPGA自定义硬件解决方案的功耗是多少？
FPGA自定义硬件解决方案的功耗仅为13W。
网友对MatMul方法的反应是什么？
网友对新硬件和优化表示怀疑，但认为如果属实将对行业产生重大影响。
