大模型永远也不做了的事情是什么？
原文中文，约12300字，阅读约需30分钟。
📝
内容提要
作者发现大语言模型（LLM）无法解决需要更长推理步骤的问题，如Wordle和细胞自动机。LLM的注意力机制无法动态地重置上下文，导致目标漂移。作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。然而，LLM仍然无法完全模拟人类的推理能力。
❓
Q&A
大语言模型（LLM）在处理哪些类型的问题时表现不佳？
LLM在处理需要长推理步骤的问题时表现不佳，例如Wordle和细胞自动机。
为什么LLM无法动态重置上下文？
LLM的注意力机制是静态的，无法选择性地动态重置上下文，导致目标漂移。
作者对改进LLM的建议是什么？
作者建议通过改进架构和添加外部记忆来提高LLM的可靠性。
逆转诅咒（Reversal Curse）是什么？
逆转诅咒是指LLM无法自动泛化理解人与人之间的关系，例如从“A是B”推导出“B是A”。
LLM在复杂任务中与人类推理能力相比如何？
LLM无法完全模拟人类的推理能力，尤其是在复杂任务中表现不佳。
未来改进LLM的方向是什么？
未来的改进可能需要更好的提示、内存管理和计算能力，以提高LLM的推理能力。
🏷️
