大模型永远也不做了的事情是什么？
💡
原文中文，约12300字，阅读约需30分钟。
📝
内容提要
作者发现大语言模型（LLM）无法解决需要更长推理步骤的问题，如Wordle和细胞自动机。LLM的注意力机制无法动态地重置上下文，导致目标漂移。作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。然而，LLM仍然无法完全模拟人类的推理能力。
🎯
关键要点
-
大语言模型（LLM）在处理需要长推理步骤的问题时表现不佳，如Wordle和细胞自动机。
-
LLM的注意力机制无法动态重置上下文，导致目标漂移。
-
作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。
-
LLM无法完全模拟人类的推理能力，尤其是在复杂任务中。
-
LLM在处理简单的逻辑推理和游戏时，常常无法给出正确答案。
-
逆转诅咒（Reversal Curse）使得LLM无法自动泛化理解人与人之间的关系。
-
LLM的推理能力与其训练数据密切相关，缺乏灵活性和动态调整能力。
-
即使在微调后，LLM仍然无法有效学习细胞自动机的规则。
-
作者认为，LLM的目标漂移和上下文处理能力是其主要限制因素。
-
未来的改进可能需要更好的提示、内存管理和计算能力，以提高LLM的推理能力。
-
尽管LLM在某些任务上表现出色，但在需要长时间推理的任务上仍然存在局限性。
-
实现通用人工智能（AGI）需要根本性改进现有模型的架构。
➡️
