大模型永远也不做了的事情是什么？
内容提要
作者发现大语言模型（LLM）无法解决需要更长推理步骤的问题，如Wordle和细胞自动机。LLM的注意力机制无法动态地重置上下文，导致目标漂移。作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。然而，LLM仍然无法完全模拟人类的推理能力。
延伸解读
LLM 的“目标漂移”问题
文章指出，LLM 在长推理步骤中会出现“目标漂移”，即随着步骤增加，模型逐渐偏离初始目标。这是因为其注意力机制无法动态重置上下文，导致推理不可靠。例如，在 Wordle 或细胞自动机任务中，模型无法像人类一样中途检查并纠正错误。这种限制源于自回归模型一次只能处理一个标记，无法回溯或重新聚焦。
逆转诅咒与泛化困境
LLM 存在“逆转诅咒”，即如果训练数据只包含“A 是 B”，模型无法自动回答“B 是 A”。这表明模型难以泛化理解关系，缺乏灵活推理能力。即使前沿模型也受此困扰，说明其学习模式依赖于训练数据的表面关联，而非真正掌握逻辑规则。这限制了 LLM 在需要双向推理任务中的表现。
外部记忆与架构改进
作者建议通过改进架构和添加外部记忆来提高 LLM 可靠性。例如，使用思维链、草稿板或外部存储可以帮助减少目标漂移。然而，这些方法只是部分缓解，无法根本解决泛化问题。文章提到，只有增强结构化内存（如堆栈或存储带）的网络才能成功泛化某些任务，但当前 Transformer 架构仍存在根本限制。
对 AGI 的启示
文章认为，实现 AGI 需要根本性架构改进，而非单纯扩大规模。当前 LLM 在需要长推理的任务上表现不佳，如玩 Wordle 或预测细胞自动机。尽管它们在某些领域表现出色，但缺乏真正的泛化能力。作者强调，LLM 的错误比成功更能揭示其局限性，未来可能需要结合多种代理和外部工具来逼近 AGI。
Q&A
大语言模型（LLM）在处理哪些类型的问题时表现不佳？
LLM在处理需要长推理步骤的问题时表现不佳，例如Wordle和细胞自动机。
为什么LLM无法动态重置上下文？
LLM的注意力机制是静态的，无法选择性地动态重置上下文，导致目标漂移。
作者对改进LLM的建议是什么？
作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。
逆转诅咒（Reversal Curse）是什么？
逆转诅咒是指LLM无法自动泛化理解人与人之间的关系，例如从“A是B”推导出“B是A”。
LLM在复杂任务中与人类推理能力相比如何？
LLM无法完全模拟人类的推理能力，尤其是在复杂任务中表现不佳。
未来改进LLM的方向是什么？
未来的改进可能需要更好的提示、内存管理和计算能力，以提高LLM的推理能力。
