大模型的规模扩展是否可持续？
💡
原文中文，约10600字，阅读约需26分钟。
📝
内容提要
本文讨论了扩展语言大模型（LLMs++）对实现通用人工智能（AGI）的有效性和影响。正方认为，通过扩展模型规模、算法进步和硬件改进，有望在2040年之前实现AGI。反方则认为，数据不足、模型泛化能力有限以及基准测试的局限性可能阻碍了扩展的有效性。作者个人观点是，通过扩展+算法进步+硬件进步，有70%的可能性在2040年之前实现AGI。
🎯
关键要点
-
扩展语言大模型（LLMs++）被认为是实现通用人工智能（AGI）的关键。
-
正方认为，通过扩展模型规模、算法进步和硬件改进，有望在2040年之前实现AGI。
-
反方认为数据不足、模型泛化能力有限以及基准测试的局限性可能阻碍扩展的有效性。
-
反方指出高质量语言数据将在明年耗尽，且需要的计算量远超现有能力。
-
正方认为，合成数据和自我对弈可能会有效，且当前的模型已经展现出强大的潜力。
-
正方强调模型在基准测试中的持续性能提升，认为扩展仍然有效。
-
反方质疑基准测试的有效性，认为模型的表现更多是记忆能力而非智能。
-
正方认为，模型在复杂任务中的表现仍在提升，未来有望继续取得进展。
-
反方指出，模型在长时间任务中的表现不佳，显示出其智能水平的局限。
-
作者个人观点是，通过扩展、算法进步和硬件进步，有70%的可能性在2040年之前实现AGI。
➡️
