失联大神李沐B站复更：领读Llama 3.1论文；竞技场Llama 3.1排第三
内容提要
AI专家李牧回到Bilibili，带领阅读Llama 3.1论文。他透露Llama团队最初训练了MoE模型和密集模型，但前者失败了，所以只发布了简化版本。在最新的模型排名中，Llama-3.1-405B排名第三，落后于GPT-4o和Claude-3.5-Sonnet。Llama-3.1-405B在个别类别中表现出色。用户已经开始在各种应用中使用Llama-3.1-405B，例如在Raspberry Pi上运行它，并在GitHub存储库上创建聊天机器人。
延伸解读
李沐回归与Llama 3.1论文精读
李沐时隔一年多回归B站，精读Llama 3.1论文，视频约18分钟，上线后播放迅速破万。他透露Llama团队最初同时训练了MoE和稠密模型，但MoE失败，最终只发布简化版本。这为读者提供了论文之外的训练内幕，有助于理解Meta的技术选择。
Llama 3.1竞技场排名与性能
在大模型竞技场中，Llama-3.1-405B位列第三，仅次于GPT-4o和Claude-3.5-Sonnet，是开源模型首次进入前三。它在编码、数学、指令遵循等单项中稳居前三，70B版本也升至总榜第九。这表明开源模型与闭源顶尖模型的差距正在缩小。
社区应用与本地部署实践
发布仅一周，社区已展开多种尝试：有开发者让Llama-3.1-8B在树莓派5上仅用CPU运行，采用4-bit量化；还有人在GitHub仓库上创建免费聊天机器人，或尝试用405B生成完整React应用。这些案例展示了模型在边缘设备和开发辅助上的潜力，但也提示了资源消耗和RAG幻觉等实际问题。
Q&A
李沐在B站复更的主要内容是什么？
李沐在B站复更主要是解读Llama 3.1论文，并分享了一些相关的八卦信息。
Llama 3.1模型的训练过程中遇到了什么问题？
Llama团队在训练过程中，MoE模型失败，最终只发布了简化版本的稠密模型。
Llama-3.1-405B在大模型排名中处于什么位置？
Llama-3.1-405B在大模型排名中位列第三，仅次于GPT-4o和Claude-3.5-Sonnet。
Llama-3.1-405B在特定任务中表现如何？
Llama-3.1-405B在编码、数学、指令遵循等单项中表现优异，稳居前三。
用户如何在Raspberry Pi上使用Llama-3.1？
用户可以在Raspberry Pi上运行Llama-3.1-8B，只需下载llamafile文件并配置参数即可。
Llama-3.1-405B的开发潜力如何？
Llama-3.1-405B只接受过“计算最优”训练，下一次迭代可能会有惊人的进展。
