苦涩教训的终点在哪里
内容提要
人类只有一个工程项目，就是建造比人类更好的工程师。推特上传播的视频展示了关于象棋引擎中的主教人和自动驾驶汽车中的锥体人的工程想法，看起来越来越荒谬。人类的DNA中没有交通锥的参考，所以代码库中不应该有关于交通锥的参考。通用方法的巨大威力是从苦涩的教训中学到的，搜索和学习是两种任意扩展的方法。进化是一个搜索和优化过程，为什么不进化一个驾驶代理？种子AI的概念非常吸引人，构建一个最小可行的自我改进AI，并允许它自我启动，达到超越人类的水平。目标是构建一个超人类的东西，与自动驾驶汽车不同，如果构建火车驾驶代理，需要考虑更多因素。
延伸解读
苦涩教训的边界：为何止步于人类DNA
文章提出苦涩教训的终点是人类DNA。作者认为，尽管通用方法（搜索和学习）能随计算扩展，但硬编码人类DNA中的结构（如大脑分区）是可接受的，因为人类是唯一已知的通用智能实例。这为工程实践划定了界限：避免为特定任务（如交通锥）硬编码，但可以借鉴生物大脑的模块化设计。
从进化到种子AI：自我改进的可行性
进化作为搜索和优化过程，证明了自我改进AI的可行性，但需要巨大算力。种子AI概念——构建最小可行自我改进AI并让其自举——吸引人，但目标应是超人类而非无限超越。作者提醒，不同任务需不同方法：火车驾驶代理可能更适合直接编码，而非模仿人类学习。
复制而非从头创造：无线电的启示
文章用建造无线电类比AI开发：复制已有工作实例（如拆解无线电并克隆）比从头创造更高效。对于人类智能，我们已有大脑这个工作实例，可以逆向工程其组件（如新皮层、海马体），并用现有技术（如Transformer、RAG）模拟。这比从头进化生命更实际。
构建仿制人类：模块化大脑组件的工程实践
作者建议在人类代理软件中为大脑关键部分建立目录：用Transformer模拟新皮层，用改进的RAG模拟海马体，用TD学习模拟基底核，用杏仁核防止自我毁灭，用丘脑协调系统。这并非解决生命本质，而是构建仿制人类，且这些组件今天已可初步实现。
Q&A
人类的主要工程项目是什么？
人类的主要工程项目是建造比人类更好的工程师。
为什么在自动驾驶汽车中学习交通锥的方式比硬编码更有效？
因为自动驾驶汽车通过数据学习交通锥，而不是依赖于人类DNA中的硬编码参考。
什么是种子AI，它的目标是什么？
种子AI是构建一个最小可行的自我改进AI，目标是让其自我启动并达到超人类水平。
进化过程在人工智能开发中有什么意义？
进化是一个搜索和优化的过程，可以用于开发更有效的驾驶代理。
构建无线电的最佳方法是什么？
最佳方法是复制已有的工作实例，而不是从零开始。
人类大脑的哪些部分可以用今天的技术构建？
许多人脑的部分，如新皮层、海马体和基底神经节，已经可以用今天的技术构建。
