Meta开源了字节潜在变换器(BLT),这是一种使用动态字节处理的LLM架构。BLT模型在推理FLOPS上比Llama 3减少50%,并能更好地处理噪声输入。通过动态分组字节,BLT提升了模型的鲁棒性和多语言理解能力。实验显示,BLT在字符级任务上优于Llama 3,但将Llama 3转换为BLT时性能显著下降。BLT的训练和推理代码已在GitHub上发布。
完成下面两步后,将自动完成登录并继续当前操作。