Rust AI实践：使用Rig构建LLM应用
内容提要
Rig是开源的Rust库，为LLM应用提供统一接口，支持OpenAI、Anthropic等提供商，涵盖代理、工具、RAG、流式及本地模型。直播演示了用Rig和Ratatui构建的编码代理Rat Code，展示代理结构、工具定义及测试方法。Rig通过cassette系统重放记录测试集成，并支持RAG和本地推理，推动Rust与AI实际应用结合。
延伸解读
Rig的抽象设计：从模型到代理
Rig将LLM应用组织为提供者客户端、模型、代理和工具。代理在模型调用之上添加了系统提示（preamble）、令牌限制和工具能力。这种分层让开发者可以专注于配置和行为，而Rig处理与不同提供商的异步通信。理解这一结构有助于设计可维护的Rust AI应用。
工具与代理的复用模式
在Rig中，工具通过实现Tool trait定义，本质上是AI代理可执行的Rust函数。工具可以接收上下文以访问状态，用于计数或缓存。更强大的是，代理本身也可以作为工具暴露给其他代理，实现任务委托。这种设计促进了模块化和可组合的AI系统。
测试LLM集成的策略
Rig采用cassette系统测试提供者集成：记录真实API交互并重放，确保CI快速且不依赖外部服务。但cassette无法检测模型输出质量变化，因此对于生产应用，建议定期对实时模型进行测试。这区分了集成测试与模型评估，是LLM应用测试的重要思路。
本地推理与部署控制
Rig支持通过Ollama、llama.cpp和Candle运行本地模型。其中rig-candle集成允许将模型权重嵌入应用，直接推理，甚至支持WebAssembly，从而摆脱对托管API或独立服务器的依赖。这为需要数据隐私或离线环境的部署提供了更多选择。
Q&A
Rig是什么？它主要解决什么问题？
Rig是一个开源的Rust库，用于与OpenAI、Anthropic、Gemini等大型语言模型提供商交互。它通过统一的Rust接口处理不同提供商API的差异，使开发者无需重写依赖LLM的代码即可切换提供商。
Rig如何组织LLM应用？
Rig将LLM应用组织为几个核心部分：提供商客户端、完成模型、代理（agent）以及代理可用的工具。提供商客户端连接服务，模型用于配置代理。代理在模型调用之上添加指令（通过preamble作为系统提示）、令牌限制和工具能力。
在Rig中，工具（tool）是如何定义的？
在Rig中，工具通过实现Rust的Tool trait来定义。实现该trait需要定义工具的名称、输入、输出和错误类型，以及工具被调用时执行的函数。工具定义使用JSON Schema描述其预期参数，为模型提供结构化的输入描述。
Rat Code演示了什么？
Rat Code是一个由JetBrains开发者倡导者Orhun Parmaksız使用Rig和Ratatui构建的小型终端编码代理。它演示了如何设置提供商客户端、注册文件和shell工具，以及使用Rig的流式API将响应分块更新到终端界面。
Rig如何支持RAG（检索增强生成）？
Rig通过数据库集成和向量存储抽象支持RAG。开发者可以连接支持的数据库，或者通过实现Rig的向量存储trait来使用其他支持向量存储的数据库。
Rig支持哪些本地模型运行方式？
Rig支持通过Ollama、llama.cpp和Candle运行本地模型。Ollama和llama.cpp使用本地服务器，而rig-candle集成直接在Rust应用中使用Candle进行推理，可以将模型权重嵌入应用，甚至通过WebAssembly运行。
Rig如何测试LLM集成？
Rig使用cassette系统测试提供商集成。维护者运行测试并记录HTTP流量，保存为YAML文件，然后用模拟服务器重放这些请求和响应，使测试无需联系实时API。Rig有约1700个记录的提供商交互，在CI中重放，整个过程只需几秒。
