微软在2025 Build大会上推出Foundry Local,支持本地AI推理,提升隐私保护和成本效益。该平台兼容多种硬件加速,用户可通过CLI、SDK和API进行开发。
微软推出的Foundry Local工具使开发者能够在本地运行生成式AI模型,确保数据隐私且无需网络连接。结合Semantic Kernel框架,用户可以构建高效的本地RAG应用,支持多种硬件和模型,适合企业级使用。
Foundry Local 是一款可在 Windows 和 Mac 上运行的小型 AI 语言模型工具,类似于本地版 ChatGPT。它支持多种模型格式,用户可通过简单步骤将模型转换为 ONNX 格式并在本地运行。教程详细介绍了安装、转换和运行模型的过程,适合 AI 新手。
.NET团队发布Dev Proxy 0.28版本,新增OpenAITelemetryPlugin插件,帮助开发者跟踪OpenAI请求的使用情况和成本。该版本支持Foundry Local本地AI环境,简化了与Aspire应用的集成,并扩展了对OpenAI负载的支持,同时改进了TypeSpec生成和日志处理,增强了并发性能。
完成下面两步后,将自动完成登录并继续当前操作。