本研究提出了一种全二值化大型语言模型(FBI-LLM),通过自回归蒸馏损失训练,达到全精度对应模型的性能。该研究鼓励新的计算框架,并可能促进专门针对完全1位LLM的硬件的未来设计。提供了所有模型、代码和训练数据集的完全访问和透明性,以支持进一步的研究。
完成下面两步后,将自动完成登录并继续当前操作。