Artech ·

[MAF预定义ChatClient中间件-05]动态修改ChatOptions和请求消息 - Artech

💡 原文中文，约8400字，阅读约需20分钟。

📝

内容提要

本文介绍了如何使用IChatClient和ChatClientAgent动态配置ChatOptions，以实现不同模型的交替使用。通过ConfigureOptionsChatClient中间件，可以在每次调用时设置模型ID。同时，AIContextProviderChatClient中间件利用AIContextProvider生成增强的请求消息，提升对话质量。示例代码展示了对话摘要处理和动态配置的实现。

🎯

关键要点

使用IChatClient的GetResponseAsync或GetStreamingResponseAsync方法时，需传入ChatOptions对象以控制运行行为。
ChatClientAgentOptions携带的ChatOptions会在每次调用中应用，支持针对性配置选项。
ConfigureOptionsChatClient中间件允许动态设置ChatOptions对象，增强灵活性。
AIContextProviderChatClient中间件利用AIContextProvider生成增强的请求消息，提高对话质量。
示例代码展示了如何通过ConfigureOptionsChatClient动态配置模型ID，实现不同模型的交替使用。
ReducingChatClient中间件通过IChatReducer精简对话历史，提升LLM推理质量。
CompactionProvider结合SummarizationCompactionStrategy实现对话摘要处理，优化对话内容。
AIContextProviderChatClient在每次调用时创建AIContext，增强请求和响应的能力。

🔎

延伸解读

动态配置的灵活性

通过使用ConfigureOptionsChatClient中间件，开发者可以在每次调用时动态设置ChatOptions对象。这种灵活性使得在不同场景下可以快速切换模型，满足多样化的需求，尤其适合需要频繁调整参数的应用场景。

对话质量的提升

AIContextProviderChatClient中间件通过生成增强的请求消息，显著提高了对话的质量。利用AIContextProvider的能力，可以更好地理解上下文，从而提供更精准的响应，这对于用户体验至关重要。

对话历史的管理

ReducingChatClient中间件通过精简对话历史，确保在不丢失基本语义的情况下，提升LLM推理的质量。这种方法在处理长对话时尤为重要，可以有效避免信息过载，保持对话的连贯性。

❓

延伸问答

如何动态配置ChatOptions以实现不同模型的交替使用？

可以通过ConfigureOptionsChatClient中间件动态设置ChatOptions对象的ModelId属性，从而实现不同模型的交替使用。

AIContextProviderChatClient中间件的作用是什么？

AIContextProviderChatClient中间件利用AIContextProvider生成增强的请求消息，提高对话质量。

如何使用ReducingChatClient提升对话质量？

ReducingChatClient通过IChatReducer精简对话历史，腾出更多上下文窗口，从而提升LLM推理质量。

示例代码中如何实现对话摘要处理？

示例代码通过CompactionProvider结合SummarizationCompactionStrategy实现对话摘要处理，优化对话内容。

ConfigureOptionsChatClient的实现原理是什么？

ConfigureOptionsChatClient接受一个委托对象来动态配置ChatOptions对象，并在每次调用时创建新的ChatOptions对象。

如何在代码中使用AIContextProvider进行请求增强？

在代码中使用AIContextProvider时，需要注册AIContextProviderChatClient中间件，并在每次调用时创建增强的AIContext对象。

🏷️