Hinton与学生Ilya在Scaling Law问题上存在分歧。Hinton认为Scaling Law仍然有效，但面临数据缺失的挑战；而Ilya质疑继续扩展规模的价值，认为未来应重构研究范式。尽管观点不同，两人均强调AI需解决数据瓶颈。

中国团队推出了原生多模态架构NEO，突破了传统模型的局限。NEO仅用十分之一的数据，在多项评测中超越现有顶级模型，展现出高效的视觉与语言融合能力，推动多模态AI的发展。

Ilya Sutskever在采访中表示，AI正从规模化时代回归科研时代，当前的预训练和扩展方法面临瓶颈，需重构研究范式。他指出模型的泛化能力不足，人类学习效率高于AI，未来AI发展应关注提升学习能力和安全性。

Hinton对AGI的看法发生了转变，认为AI与人类的关系如母婴共生，AI应具备“母性本能”，支持人类幸福。他强调AI的长期风险，呼吁引导AI发展，特别是在医疗领域。同时，他批评当前AI公司对安全的忽视，认为应关注AI的正向作用与潜在风险。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，简化了数据爬取流程。

科学家Ilya被迫担任自己创办公司的CEO，因联合创始人Daniel Gross因Meta挖人而离开。Ilya拒绝了扎克伯格的收购提议，表示SSI将专注于构建安全的超级智能AI，尽管尚未推出产品，但公司估值已达320亿美元。

扎克伯格为AGI项目挖人，未能收购Ilya的初创公司SSI，转而挖走CEO Daniel Gross。Gross曾任苹果机器学习总监，现与Nat Friedman共同经营风险投资基金NFDG。尽管SSI估值320亿美元，Ilya拒绝了扎克伯格的邀请，凸显人才的重要性。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

Ilya Sutskever创办的公司SSI正在进行新一轮融资，估值达到200亿美元，尽管目前没有用户和收入，但投资者对其未来潜力表示关注。SSI专注于开发安全的超级智能AI，团队规模小，目标明确。

OpenAI的Noam Brown在NeurIPS会议上讨论了Scaling Law的未来，强调推理计算的重要性。他指出，尽管预训练时代可能结束，但提升推理能力仍然至关重要，AI模型的扩展应关注推理时间而非仅仅规模。未来的AI将展现更强的推理和决策能力。

在NeurIPS 2024上，Ilya Sutskever预测预训练时代即将结束，未来将进入超级智能时代，具备自主推理和自我意识。他指出数据增长接近瓶颈，未来AI需依赖Agent系统和合成数据来突破限制。

在2024年NeurIPS大会上，GAN和Seq2Seq两篇经典论文获得时间检验奖。GAN由Yoshua Bengio等提出，利用生成对抗网络实现高质量数据生成；Seq2Seq由Ilya等人提出，解决了输入输出序列长度不定的问题，推动了机器翻译等领域的发展。

Scaling Law由百度于2017年提出，研究了深度学习中训练集大小、计算规模与模型精度的关系。实证研究表明，泛化误差与训练集大小呈幂律关系，模型大小与数据大小存在缩放关系。这一发现对深度学习的研究和实践具有重要影响，助力模型调试和系统设计。