phodal
·
LLM 应用参考架构：ArchGuard Co-mate 实践示例
💡
原文中文，约4500字，阅读约需11分钟。
📝
内容提要
本文介绍了ArchGuard Co-mate项目，该项目探索了LLM在架构领域的应用。通过参考架构图，我们详细解释了每个层级的设计理念和技术实践。在UI层，采用用户意图导向设计；在会话处理层，使用本地小模型处理用户输入；在操作编排层，使用DSL进行编排；在LLM增强层，借助LLM构建上下文；在LLM层，关注历史数据和响应反处理。ArchGuard Co-mate为我们提供了LLM在架构领域应用的实例。
🎯
关键要点
- ArchGuard Co-mate项目探索LLM在架构领域的应用。
- 项目分为多个层级，包括UI层、会话处理层、数据审计层、操作编排层、LLM增强层和LLM层。
- UI层采用用户意图导向设计，旨在引导用户理解系统能力。
- 会话处理层使用本地小模型处理用户输入，优先进行本地分析。
- 操作编排层通过DSL管理和协调多个模型的运行。
- LLM增强层优化语言模型，提供相关上下文和提高准确性。
- LLM层是整个架构的核心，关注输入输出的文本结果。
- ArchGuard Co-mate旨在探索LLM作为架构师助手的可能性。
- 项目中使用了Onnx Runtime和HuggingFace Tokenizers等核心组件。
- 数据审计层暂时未设计，因场景限制。
- 通过DSL编排功能，生成架构规范并交由LLM分析。
- LLM增强层通过匹配用户输入构建上下文，提升系统响应准确性。
- 流式代理接口关注历史数据和响应反处理。
🏷️
标签
➡️
