Llama 对决 GPT：AI 开源拐点已至?｜智者访谈
内容提要
中国AI开源生态发展迅速，具有丰富的数据资源和多样性模型。趋势包括多模态模型、优化学习率调度、替代Transformer架构、可解释性模型、量化模型。中国AI开源生态需要更好的产业协同，跨行业合作将促进生态发展。
延伸解读
开源与封闭之争：发展观与静止观的碰撞
访谈将开源与封闭的争论归结为AI悲观主义与加速主义的分歧。悲观主义者常以静态观点看待问题，如担心算力消耗无以为继；而加速主义者则以动态发展的眼光，相信新技术能解决新问题。这种分歧影响了政策制定，如美国加州SB 1047法案试图设置算力门槛进行管制，但从业者认为技术迭代迅速，静态门槛可能很快过时。
开放权重不等于开源：完全开源的门槛
黄之鹏澄清，当前多数所谓开源模型仅开放了权重，而权重只是可执行文件。完全开源应包含数据集、处理方法、训练工具、对齐所用的奖励模型等。符合这一标准的如Allen Institute for AI的OLMo和LLM360的K2-65B，但数量少且性能通常不强。Meta的Llama虽开放权重，但因其生态影响大，对齐压力反而更重。
大厂开源策略：商业目的驱动
Google和Meta的开源策略均服务于商业目的。Google通过Gemma等开放权重模型，旨在占据Web、移动端、搜索和云等关键场景；Meta则将大模型视为基础件，开源Llama可打破OpenAI垄断、储备人才，并服务于其元宇宙和社交核心业务。微软与OpenAI的联盟则形成互补，微软推端侧小模型，OpenAI则避免开源模型形成集群式竞争。
技术趋势：微调与量化面临挑战
随着预训练模型对知识的压缩越来越好，微调和量化的空间逐渐缩小。从Llama 2开始，开发者发现留给微调和压缩的余地越来越小，部分人认为微调意义下降，可能转向长上下文模型直接喂数据。量化方面，三元运算和MatMul-free LLMs等方向正在探索，但若预训练压缩持续改进，量化的发展空间也值得关注。
Q&A
中国AI开源生态的主要特点是什么？
中国AI开源生态发展迅速，拥有丰富的数据资源和多样性模型。
OpenAI为何从开源转向闭源？
OpenAI转向闭源是由于安全风险、商业利益和技术理想的博弈。
Llama 3.1模型的性能如何？
Llama 3.1模型的性能与顶级封闭模型相当，强调开源AI的未来。
未来AI开源生态需要哪些改进？
未来AI开源生态需要更好的产业协同，跨行业合作将促进生态发展。
多模态模型在AI发展中的重要性是什么？
多模态模型是未来AI发展的重要方向，能够实现不同数据类型的统一处理。
中美AI开源生态的主要差异是什么？
中美AI开源生态的主要差异在于产业生态协作的成熟度，北美更为成熟。
