![[MAF预定义的AIContextProvider-05]CompactionProvider——采用多种策略压缩对话历史 - Artech](https://assets.cnblogs.com/images/ghs.png)
Artech
·
[MAF预定义的AIContextProvider-05]CompactionProvider——采用多种策略压缩对话历史 - Artech
内容提要
为了解决LLM调用的无状态问题，需要将消息历史作为上下文发送给LLM。随着对话的进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。因此，压缩对话历史是必要的。MAF提供了多种压缩策略，CompactionProvider支持摘要、折叠、删除和替换等策略，有效压缩消息历史，保留核心信息。
关键要点
-
为了解决LLM调用的无状态问题，需要将消息历史作为上下文发送给LLM。
-
随着对话进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。
-
压缩对话历史是必要的，MAF提供了多种压缩策略。
-
CompactionProvider支持摘要、折叠、删除和替换等策略，有效压缩消息历史，保留核心信息。
-
消息组是压缩系统的原子单位，压缩策略针对消息组而非单个消息。
-
CompactionMessageIndex用于管理消息组并实施压缩策略，提供统计信息以支持决策。
-
CompactionProvider通过重写InvokingCoreAsync方法实现对话历史的压缩，最终返回压缩后的消息列表。
延伸解读
对话历史压缩的重要性
随着对话的进行，消息历史不断增长，可能超出LLM的上下文窗口限制，导致响应质量下降。因此，压缩对话历史不仅是技术需求，更是提升用户体验的关键。通过有效的压缩策略，可以确保LLM在处理信息时保持高效和准确。
CompactionProvider的灵活性
CompactionProvider支持多种压缩策略，如摘要、折叠、删除和替换等。这种灵活性使得开发者可以根据具体应用场景选择最合适的策略，从而优化对话历史的管理和LLM的响应质量。
消息组的概念
在压缩过程中，消息组是CompactionProvider的核心概念。它将相关的消息逻辑分组，便于整体处理。这种结构化的设计不仅提高了压缩效率，还能有效保留语义信息，避免信息丢失。
延伸问答
CompactionProvider的主要功能是什么？
CompactionProvider的主要功能是压缩对话历史，以解决LLM调用的无状态问题，确保在对话过程中保留核心信息。
MAF提供了哪些压缩策略？
MAF提供了摘要、折叠、删除和替换等多种压缩策略。
为什么需要压缩对话历史？
压缩对话历史是为了防止消息历史超出LLM的上下文窗口限制，从而提高响应质量。
CompactionMessageIndex的作用是什么？
CompactionMessageIndex用于管理消息组并实施压缩策略，提供统计信息以支持决策。
如何实现对话历史的压缩？
对话历史的压缩通过重写InvokingCoreAsync方法实现，最终返回压缩后的消息列表。
消息组在压缩策略中有什么重要性？
消息组是压缩系统的原子单位，压缩策略是针对消息组而非单个消息进行的。
