少数派
·
今夜，大模型从世界消散
💡
原文中文，约4600字，阅读约需11分钟。
📝
内容提要
Matrix是一个写作社区，分享真实产品体验。文章讨论了大语言模型的无状态特性，指出其缺乏记忆，依赖上下文拼接以实现连贯对话。尽管技术有所进步，模型仍面临记忆和上下文的限制，未来可能通过新技术得到改善。
🎯
关键要点
- Matrix是一个写作社区，主张分享真实的产品体验。
- 文章讨论了大语言模型（LLM）的无状态特性，缺乏记忆，依赖上下文拼接实现连贯对话。
- 大语言模型在技术上有所进步，但仍面临记忆和上下文的限制。
- 模型的每次对话都是一次重生，没有短期记忆。
- 上下文拼接技术使得模型能够在对话中保持连贯性。
- 上下文窗口长度是大模型的一个核心指标，影响对话的连续性。
- 长上下文的召回率仍然是一个挑战，模型可能在庞大文本中迷失。
- 键值缓存（KV Cache）技术优化了模型的推理过程，减少了计算量。
- OpenClaw框架赋予AI本地持久化记忆和自主行动能力。
- OpenClaw的记忆机制可能导致高昂的运行成本，影响其大规模应用。
- 提示词注入（Prompt Injection）可以篡改AI的记忆和认知。
- AI的温情与共情是通过工程手段制造的假象。
- 微调技术和预训练可以影响模型的未来行为倾向，尽管模型无法记住具体事件。
➡️
