从 GPT-4 到 AGI：计算OOM
内容提要
本文讨论了人工智能的快速发展和未来取得重大进展的潜力。过去的AI进展包括计算增加、算法效率提高和解除束缚。预计到2027年，GPT-4的计算量将比GPT-2多约1000倍。算法的进步也是重要的驱动力。预测AGI到达的模态年是在2020年代后期。美国必须赢得超级智能竞赛，因为中国第一将是灾难性的。数以亿计的AGI可以自动化AI研究，将十年的算法进展压缩到不到一年。AGI不再是遥不可及的幻想。
延伸解读
算力扩张：超越摩尔定律的驱动力
文章指出，AI训练算力的增长远快于摩尔定律，这主要得益于巨额投资。从GPT-2到GPT-4，训练计算量增长了约3000至10000倍，而过去十五年前沿AI训练算力每年增长约0.5个数量级。到2027年，再增加2个数量级的算力（价值数百亿美元的集群）似乎很有可能，甚至3个数量级（1000亿美元以上）也可行。这种算力扩张是模型能力提升的关键驱动力之一。
算法效率：被低估的进步引擎
除了算力，算法进步同样重要且常被低估。文章举例，在ImageNet上，2012至2021年间计算效率每年提升约0.5个数量级；在数学推理任务上，不到两年推理效率提升了近3个数量级。从GPT-2到GPT-4的飞跃包含了1-2个数量级的算法效率提升。预计到2027年，算法效率还将带来约2个数量级的提升，这意味着实现相同性能所需的计算量将大幅减少。
AGI时间线与国家安全考量
文章预测AGI的到达模态年份在2020年代后期，并认为到2025/26年AI模型将超过许多大学毕业生，到2030年将比人类更聪明。同时，文章强调美国必须赢得超级智能竞赛，因为中国领先将是灾难性的。此外，数以亿计的AGI可以自动化AI研究，将十年的算法进展压缩到不到一年，从而迅速导致巨大的超人AI系统，带来巨大力量和危险。
Q&A
GPT-4与GPT-2相比，计算量预计会增加多少倍？
预计到2027年，GPT-4的计算量将比GPT-2多约1000倍。
AGI预计将在何时达到？
AGI预计将在2020年代后期达到。
美国在超级智能竞赛中面临什么样的风险？
如果中国领先，将会带来灾难性的后果。
算法的进步对AI发展有何影响？
算法的进步是AI发展的重要驱动力，能够显著提高计算效率。
未来AGI将如何影响AI研究？
数以亿计的AGI可以自动化AI研究，将十年的算法进展压缩到不到一年。
计算OOM的概念是什么？
计算OOM是指有效计算的数量级变化，反映模型性能的提升。
