张善友
·
微软 Foundry Local - 本地 AI 推理解决方案 - 张善友
内容提要
微软在2025 Build大会上推出Foundry Local，支持本地AI推理，提升隐私保护和成本效益。该平台兼容多种硬件加速，用户可通过CLI、SDK和API进行开发。
关键要点
-
微软在2025 Build大会上发布Foundry Local，支持本地AI推理。
-
Foundry Local利用本地算力，提升隐私保护和成本效益。
-
平台支持CLI、SDK、REST API和Catalog API，用户可自行开发。
-
Foundry Local兼容Windows 11和macOS，支持多种硬件加速。
-
用户需确保有足够的算力和存储来运行模型。
-
安装Foundry Local的命令分别为Windows和macOS。
-
运行模型的基本命令为foundry model run <model>。
-
可使用foundry model list查看可运行的模型列表。
-
提供多种命令以管理模型，如下载、加载和卸载模型。
-
Foundry Local SDK支持JavaScript、Python、C#和Rust。
-
示例项目展示如何在本地环境中使用Foundry相关功能。
-
项目地址为https://github.com/andrewleader/FoundryLocalLabDemo
延伸解读
隐私保护与成本效益
Foundry Local 通过在本地设备上执行 AI 推理，显著提升了用户的隐私保护。用户的数据不再需要上传至云端，从而降低了数据泄露的风险。同时，利用本地算力可以减少云服务费用，提升整体成本效益。
硬件兼容性与要求
使用 Foundry Local 需要确保设备具备足够的算力和存储空间。该平台支持多种硬件加速，包括 NVIDIA 和 AMD 的 GPU，以及 Intel 和高通的 NPU。这意味着用户在选择硬件时需考虑兼容性，以确保最佳性能。
开发灵活性与工具支持
Foundry Local 提供多种开发工具，包括 CLI、SDK 和 REST API，支持 JavaScript、Python、C# 和 Rust 等语言。这种灵活性使得开发者可以根据自身需求选择合适的工具进行本地 AI 模型的开发与管理。
延伸问答
Foundry Local 是什么？
Foundry Local 是微软推出的本地 AI 推理解决方案，支持在本地设备上执行 AI 模型，提升隐私保护和成本效益。
如何安装 Foundry Local？
在 Windows 上使用命令 'winget install Microsoft.FoundryLocal'，在 macOS 上使用 'brew tap microsoft/foundrylocal' 和 'brew install foundrylocal'。
Foundry Local 支持哪些编程语言？
Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust。
如何运行 AI 模型？
使用命令 'foundry model run <model>' 来运行指定的 AI 模型。
Foundry Local 的硬件要求是什么？
需要足够的算力和存储，支持 NVIDIA GPU（2000系列或更高）、AMD GPU（6000系列或更高）、Intel iGPU、Intel NPU（32GB内存以上）等。
如何查看可运行的模型列表？
可以使用命令 'foundry model list' 来查看可运行的模型列表。
