埃隆马斯克称xAI将在年底推出Grok 3 使用10万张英伟达H100加速卡进行训练
内容提要
埃隆马斯克透露xAI的Grok 3将在年底推出，使用10万张NVIDIA H100加速卡进行训练。Grok 2已取得巨大进步，已集成到X/Twitter中。
延伸解读
10万张H100背后的训练自主性信号
马斯克强调xAI使用10万张NVIDIA H100加速卡训练Grok 3，并非单纯展示算力规模，而是回应外界对模型训练数据来源的质疑。Cohere首席执行官Aidan Gomez指出，许多模型依赖OpenAI输出的数据进行训练，而xAI通过自购加速卡和自建训练流程，表明其走的是独立训练路径。这种重资产投入也意味着更高的成本和更长的数据准备周期，但有助于形成差异化的模型能力。
自采数据与清洗：Grok 2进步的关键
文章提到，xAI的Grok 2训练数据由公司自行获取并经过清洗，马斯克认为这是Grok 2取得巨大进步的重要原因。与直接使用OpenAI API输出数据训练相比，自采数据需要投入大量精力清洗垃圾数据，但能避免模型能力因依赖二手数据而下降。Aidan Gomez也指出，用户能感知到两种训练方式带来的模型差异，这提示数据质量而非单纯数据量可能才是模型表现的分水岭。
Grok 3年底发布：时间点与竞争参照
马斯克透露Grok 2将于8月发布，性能更好的Grok 3则计划在年底推出，且当前应已完成主要训练内容。作为参照，3月发布的Grok 1.5已改进推理能力并支持128K上下文，在基准测试中与GPT-4差距不大，HumanEval测试中甚至超过GPT-4。若Grok 3如期推出，其实际表现将检验xAI独立训练路径的成效，但文章未提供具体性能指标或对比数据。
Q&A
Grok 3的推出时间是什么时候？
Grok 3将在年底推出。
Grok 3使用了多少张加速卡进行训练？
Grok 3使用了10万张NVIDIA H100加速卡进行训练。
Grok 2与Grok 3有什么区别？
Grok 2已经集成到X/Twitter中，而Grok 3是性能更好的版本，预计在年底发布。
马斯克为何强调使用大量加速卡进行训练？
马斯克强调是为了证明xAI是独立训练的，而不是依赖OpenAI输出的数据。
Grok 2的训练数据是如何获取的？
Grok 2的训练数据由xAI自行获取并经过清洗。
使用OpenAI输出的数据训练模型有什么风险？
使用OpenAI输出的数据训练模型可能导致模型能力下降。
