本文探讨大模型训练中算力分配的核心问题：模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模，而 Chinchilla 研究通过三种方法证明两者应等比例增长，并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响，以及相关复现争议。

训练一个大型的神经网络，最终效果会受到非常多因素的影响，换个优化器，换个模型架构，或者换一个训练集，结果都可能截然不同。在工程实践中，我们将调试这些因素的经验结果，戏称为“炼丹”。但如何从经验上...

OpenAI的年化经常性收入（ARR）从两年前的20亿美元激增至200亿美元，算力增长了9.5倍。尽管收入增加，支出也高，迫使公司推出广告以维持运营。未来，OpenAI计划在2026年推出首款硬件，以继续推动收入与算力的循环。

Hinton与学生Ilya在Scaling Law问题上存在分歧。Hinton认为Scaling Law仍然有效，但面临数据缺失的挑战；而Ilya质疑继续扩展规模的价值，认为未来应重构研究范式。尽管观点不同，两人均强调AI需解决数据瓶颈。

MiniMax海螺视频团队首次开源了视觉分词器预训练框架VTP，解决了算力与生成效果不成正比的问题。研究表明，传统Tokenizer的重建精度与生成质量无关，而VTP强调理解力，提升生成性能。VTP展示了Tokenizer的Scaling Law，优化Tokenizer可有效提升生成系统性能。

CompressARC研究表明，未经过预训练的76K参数模型在ARC-AGI-1基准上解决了20%的问题，挑战了智能依赖大规模预训练的假设。该方法仅利用谜题本身，实现了对ARC-AGI谜题的泛化求解。

元戎启行CEO周光表示，量产辅助驾驶是实现Robotaxi的关键，计划明年交付100万台城区NOA车型。目前已交付20万台，占据40%市场份额，强调通过数据驱动提升模型泛化能力，走特斯拉路线。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，简化数据爬取流程。

Tom Brown是OpenAI GPT-3的核心负责人，现任Anthropic的CTO。他分享了在OpenAI和Anthropic的经历，强调主动解决问题的重要性，并探讨了AI发展中的算力与安全挑战。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，帮助用户轻松获取所需数据。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，帮助用户轻松获取所需数据。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，简化数据爬取流程。

尺度定律是OpenAI于2020年提出的原则，揭示了模型规模、数据量与计算资源之间的关系，对AI研发和产业应用产生影响。报告分析了其对大模型发展的影响、涌现能力及局限性，强调数据质量和训练方法的重要性，指出尽管尺度定律是实现通用人工智能的关键，但仍需探索更广泛的解决方案。