《深入理解AI Agent》读书笔记按实现顺序梳理Agent工程要点:Agent由LLM、上下文和工具构成,最小实现为ReAct循环;核心工程量在模型之外的Harness,负责约束、验证与纠正。关键点包括KV Cache作为架构硬约束、提示词写成SOP、状态显式化、上下文压缩与隔离、双层记忆与混合检索、工具描述重于能力、沙盒默认断网、评估先行、SFT立形与RL泛化,以及通过外部化学习实现自我进化。
本文介绍GeekAgent第13天实现“主动记忆”功能:在每轮对话前自动检索长期记忆,无需模型主动调用搜索工具。实现方法包括将长记忆按320字窗口、80字重叠切块,用BM25算法排序,并将命中结果拼入系统提示。相比手动搜索,自动唤起更早介入,提升记忆利用率。
本文介绍了MemoryLLM,一种提高变换器中前馈网络可解释性的模型。MemoryLLM将前馈网络与自注意力解耦,允许将前馈网络视为无上下文的记忆检索机制。通过直接使用令牌嵌入训练前馈网络,MemoryLLM实现了高效的推理和存储转移。此外,Flex-MemoryLLM架构在传统变换器设计与MemoryLLM之间架起了桥梁,提升了性能。
OpenClaw推出的Active Memory插件解决了AI在对话中遗忘的问题。该插件在每次回复前强制AI检索记忆,确保信息一致性。用户可以通过三种模式(message、recent、full)控制检索范围和成本,从而提升跨场景一致性和长期任务能力,显著改善用户体验。
本文研究了情感检索增强生成(Emotional RAG)框架,旨在通过引入情感状态优化角色扮演代理的记忆检索。实验结果表明,该框架在保持角色个性方面优于传统方法,验证了情绪对记忆的影响。
New Computer团队开发了个人AI助手Dot,具备长期记忆系统,能够根据用户的语言和行为偏好提供个性化帮助。通过LangSmith,提升了记忆检索系统的准确性和召回率。Dot的记忆系统动态生成文档,支持多种检索方法,确保信息高效准确。团队利用合成用户数据进行实验,快速迭代优化对话提示,提升用户体验。
稀疏现代Hopfield模型通过稀疏熵正则化推导出闭式能量,实现稀疏注意力与记忆检索,并证明其一步近似等价于稀疏注意力机制,给出稀疏度相关的误差界,保持快速收敛与指数级存储容量。实验表明,该模型在合成和真实数据集上常优于密集模型。
该文介绍了一种稀疏的现代 Hopfield 模型,实现了稀疏注意机制和记忆检索动态,并提供了稀疏度相关的记忆检索误差界。实验结果表明,稀疏 Hopfield 模型在许多情况下优于其密集对应物。
AI代理是一种能够自主感知环境并采取行动实现目标的智能体,利用大语言模型(LLM)进行记忆检索、决策推理和行动顺序选择等。不同角色的代理在环境中运行,每个角色有不同的动作。热门的代理框架有AutoGPT、GPT-Engineer和MetaGPT,MetaGPT可以生成2000行代码的项目。
完成下面两步后,将自动完成登录并继续当前操作。