![[MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间 - Artech](https://assets.cnblogs.com/images/ghs.png)
💡
原文中文，约9100字，阅读约需22分钟。
📝
内容提要
CachingChatClient是一个中间件，用于缓存LLM调用结果，减少重复调用的时间和费用。它通过检查缓存返回相同输入的响应，若不存在则调用LLM并存储结果。DistributedCachingChatClient是其具体实现，利用IDistributedCache作为缓存存储，确保相同输入得到相同输出，提高效率。
🎯
关键要点
- CachingChatClient是一个中间件，用于缓存LLM调用结果，减少重复调用的时间和费用。
- 它通过检查缓存返回相同输入的响应，若不存在则调用LLM并存储结果。
- DistributedCachingChatClient是CachingChatClient的具体实现，利用IDistributedCache作为缓存存储。
- CachingChatClient视LLM为纯函数，确保相同输入得到相同输出，从而提高效率。
- InMemoryDistributedCache是IDistributedCache接口的实现，使用字典存储缓存数据。
- EnableCaching方法决定是否启用缓存，基于ConversationId的存在与否。
- 流式响应的缓存机制由CoalesceStreamingUpdates属性控制，决定如何合并缓存更新。
- DistributedCachingChatClient的缓存键通过GetCacheKey方法生成，结合输入和选项进行哈希计算。
❓
延伸问答
CachingChatClient的主要功能是什么？
CachingChatClient是一个中间件，用于缓存LLM调用结果，减少重复调用的时间和费用。
如何判断CachingChatClient是否会返回缓存的响应？
当调用GetResponseAsync方法时，CachingChatClient会先检查缓存中是否存在相同输入的响应，如果存在则返回缓存中的响应。
DistributedCachingChatClient与CachingChatClient有什么区别？
DistributedCachingChatClient是CachingChatClient的具体实现，利用IDistributedCache作为缓存存储。
什么情况下CachingChatClient会启用缓存？
EnableCaching方法决定是否启用缓存，通常在ConversationId为null时启用缓存。
流式响应的缓存机制是如何控制的？
流式响应的缓存机制由CoalesceStreamingUpdates属性控制，决定如何合并缓存更新。
如何创建InMemoryDistributedCache类型的缓存？
通过实现IDistributedCache接口，可以创建InMemoryDistributedCache类型，利用字典存储缓存数据。
➡️
