通过 .NET Aspire 使用本地 AI 模型
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
.NET Aspire 和 Ollama 可在本地运行 AI 模型，并通过 Microsoft.Extensions.AI 实现无缝切换到云端模型。用户可通过简单的代码配置下载和使用所需模型，灵活选择本地或云服务。
🎯
关键要点
- 使用本地 AI 模型可以在不部署到云中的情况下进行实验。
- 通过 .NET Aspire 和 Ollama 可以本地运行 AI 模型，并实现无缝切换到云托管模型。
- 可以通过 NuGet 安装 Ollama 托管集成，并在 Program.cs 文件中进行配置。
- 使用 AddModel 方法可以向 Ollama 服务器添加模型，例如 Llama 3.2 模型。
- 可以使用 WaitFor 方法确保模型下载完成后再使用相关资源。
- 通过 OllamaSharp 库可以连接到 Ollama 服务器并与模型交互。
- 可以在开发环境中使用本地 Ollama 服务器，而在生产环境中使用云端 AI 服务，如 Azure OpenAI 服务。
- 通过 Microsoft.Extensions.AI 的抽象功能，可以轻松切换本地模型和云托管模型。
- 在本地机器上进行实验是部署 AI 模型到云端之前的有效方式。
❓
延伸问答
如何在本地使用 .NET Aspire 和 Ollama 运行 AI 模型？
可以通过安装 Ollama 托管集成并在 Program.cs 文件中进行配置来在本地运行 AI 模型。
使用 Ollama 时如何添加特定的 AI 模型？
可以使用 AddModel 方法添加模型，例如使用 ollama.AddModel("chat", "llama3.2") 来添加 Llama 3.2 模型。
如何确保模型下载完成后再使用？
可以使用 WaitFor 方法与模型引用一起使用，以确保在模型下载完成后再使用相关资源。
如何在开发和生产环境中切换 AI 服务？
在开发环境中使用 Ollama 服务器，而在生产环境中使用云端 AI 服务，如 Azure OpenAI 服务。
使用 Microsoft.Extensions.AI 有什么好处？
它提供了抽象功能，可以轻松切换本地模型和云托管模型，而无需更改客户端代码。
如何在应用程序中与模型进行交互？
可以通过 OllamaSharp 库连接到 Ollama 服务器，并使用 IChatClient 或 IEmbeddingsGenerator 服务与模型交互。
➡️
