本文介绍了为长时间运行的人工智能代理构建上下文修剪管道，以高效管理对话记忆。讨论了无界对话历史对大型语言模型的影响，并利用句子嵌入模型计算当前提示与历史对话的语义相似性。通过选择最近的对话和最相关的历史记录，构建精简的上下文窗口，从而节省计算资源和内存，提高效率。

上下文修剪是从大型语言模型（LLM）输入中去除低价值内容，以降低成本并提高输出质量。它属于提示压缩，旨在减少输入长度和提高处理效率。修剪方法包括标记级、句子级和基于注意力的修剪。研究表明，适度修剪可以改善LLM性能，尤其与语义缓存结合使用时效果更佳。