张善友
·
微软 Foundry Local - 本地 AI 推理解决方案 - 张善友
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
微软在2025 Build大会上推出Foundry Local，支持本地AI推理，提升隐私保护和成本效益。该平台兼容多种硬件加速，用户可通过CLI、SDK和API进行开发。
🎯
关键要点
- 微软在2025 Build大会上发布Foundry Local，支持本地AI推理。
- Foundry Local利用本地算力，提升隐私保护和成本效益。
- 平台支持CLI、SDK、REST API和Catalog API，用户可自行开发。
- Foundry Local兼容Windows 11和macOS，支持多种硬件加速。
- 用户需确保有足够的算力和存储来运行模型。
- 安装Foundry Local的命令分别为Windows和macOS。
- 运行模型的基本命令为foundry model run <model>。
- 可使用foundry model list查看可运行的模型列表。
- 提供多种命令以管理模型，如下载、加载和卸载模型。
- Foundry Local SDK支持JavaScript、Python、C#和Rust。
- 示例项目展示如何在本地环境中使用Foundry相关功能。
- 项目地址为https://github.com/andrewleader/FoundryLocalLabDemo
❓
延伸问答
Foundry Local 是什么？
Foundry Local 是微软推出的本地 AI 推理解决方案，支持在本地设备上执行 AI 模型，提升隐私保护和成本效益。
如何安装 Foundry Local？
在 Windows 上使用命令 'winget install Microsoft.FoundryLocal'，在 macOS 上使用 'brew tap microsoft/foundrylocal' 和 'brew install foundrylocal'。
Foundry Local 支持哪些编程语言？
Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust。
如何运行 AI 模型？
使用命令 'foundry model run <model>' 来运行指定的 AI 模型。
Foundry Local 的硬件要求是什么？
需要足够的算力和存储，支持 NVIDIA GPU（2000系列或更高）、AMD GPU（6000系列或更高）、Intel iGPU、Intel NPU（32GB内存以上）等。
如何查看可运行的模型列表？
可以使用命令 'foundry model list' 来查看可运行的模型列表。
➡️
