解道jdon.com
·
2024-06-12T22:14:00Z
MatMul:一种革命性的语言模型方法
💡
原文中文,约1200字,阅读约需3分钟。
这篇文章介绍了一种革命性的语言模型方法MatMul,可以完全消除矩阵乘法操作,并保持强劲性能。无MatMul模型实现了与最先进的Transformers相当的性能,且内存使用量最多可减少61%。通过优化的内核,在推理过程中内存消耗可减少10倍以上。此外,还介绍了在FPGA上构建的自定义硬件解决方案,使LLM更接近类似大脑的效率。网友对这一方法表示了好奇和疑虑。