AMD Ryzen AI Max+ 395 主机本地 AI 环境配置

💡 原文中文,约14900字,阅读约需36分钟。
📝

内容提要

文章介绍用AMD AI Max+ 395迷你主机搭建本地AI服务器:因内存涨价,作者以约两万元购入128GB统一内存机型,安装Ubuntu,通过BIOS和TTM将96GB内存分配给GPU,并配置ROCm、Vulkan、XDNA NPU驱动,编译llama.cpp、audio.cpp和FastFlowLM,部署文本生成、嵌入、语音识别与生成等模型,充分利用CPU、GPU和NPU算力。

🔎

延伸解读

统一内存的分配策略:BIOS 固定显存与 TTM 动态 GTT 的取舍

文章展示了两种把 128GB 统一内存分给 GPU 的路径:在 BIOS 中把 UMA Frame buffer 设为 96GB,或设为 1GB 后通过 TTM 内核参数把 GTT 上限调到约 108GB。前者是固定划分,后者让系统内存可被 GPU 动态借用。作者最终采用 TTM 方案,并用 dmesg 验证 VRAM 与 GTT 的可用量。对读者而言,关键不是照抄数值,而是理解固定显存会挤占系统可用内存,动态方案则更依赖内核参数与驱动配合。

三套算力栈并存:ROCm、Vulkan 与 NPU 各自承担什么

文章没有只依赖 GPU,而是同时配置了 ROCm/HIP、Vulkan 和 XDNA NPU 三条路径。llama.cpp 和 audio.cpp 都分别编译了 HIP 与 Vulkan 版本,FastFlowLM 则专门调用 NPU。这种做法的意义在于:不同框架对后端的支持程度不同,保留多个后端可以在某个栈不兼容时切换。作者还通过 xrt-smi validate 确认 NPU 的 gemm 测试达到 51 TOPS,说明 NPU 并非摆设,但需要额外驱动和权限配置才能用上。

定位边界:这台机器适合文本、嵌入与语音,不适合视频生成

作者明确把用途限定在文本生成、Embedding、决策、ASR 和 TTS 等模型,并直言视频生成对这台小主机“真是难为它了”。这为读者提供了一个现实的预期:128GB 统一内存和 126 TOPS 总算力并不等于能覆盖所有 AI 负载。文章还提到会留出 CPU 资源跑数据库和应用服务,说明其目标是做一台多用途私有服务器,而非纯推理 benchmark 机器。选购前应先对照自己的模型类型和并发需求。

成本与生态的现实权衡:为什么不是 DGX Spark

文章开头交代了背景:内存涨价使 DDR5 32GB×2 从约 1500 元涨到过万,而 AI Max+ 395 迷你主机价格相对稳定,作者以约两万元购入含 2TB 存储的 128GB 机型。作者也直言不选 DGX Spark 是因为“买不起”,尽管后者有更好的 CUDA 生态。这说明该方案的核心吸引力是统一内存容量与价格,代价是需要自己处理 Ubuntu、ROCm、XDNA 驱动和源码编译,生态成熟度不如 CUDA。

❓

Q&A

AMD Ryzen AI Max+ 395 芯片的 AI 算力是多少?由哪些部分组成?

AI Max+ 395 芯片可提供 126 TOPS 的 AI 算力,集成了 CPU、GPU 和 NPU,并支持统一内存架构。其中 NPU 提供 50 TOPS 算力,大部分 AI 推理框架主要使用 GPU,用上 NPU 才能榨干全部算力。

如何在 Linux 下把 AI Max+ 395 的统一内存分配给 GPU 使用?

有两种方式:一是在 BIOS 的 Advanced - GFX Configuration 中将 iGPU Configuration 设为自定义,把 UMA Frame buffer size 设为 96 GB 作为固定显存;二是利用 TTM 配置 GTT 系统内存,先将 UMA Frame buffer size 设为最小值(如 1 GB),再修改 GRUB_CMDLINE_LINUX_DEFAULT 加入 ttm.pages_limit 和 ttm.page_pool_size(按公式 大小GiB×1024×1024/4.096 计算),更新 grub 并重启后用 dmesg 查看分配情况。

为什么选择安装 Ubuntu 而不是 Windows 来搭建本地 AI 服务器?

AMD 的整体生态对 Ubuntu 系统支持相对较好,且 Ubuntu 系统对内存的占用相对 Windows 更少,可以腾出更多内存给其他应用使用。

ROCm 是什么?在 AI Max+ 395 上如何安装?

ROCm 是 AMD 推出的开源 GPU 计算软件栈与平台,用于 AI 与高性能计算的异构计算开发,定位类似 NVIDIA CUDA。安装时进入 ROCm 官网,Device family 选 AMD Ryzen,Use case 选 Compute + graphics,通过 amdgpu-install 方式安装驱动和 ROCm,并将当前用户加入 render 和 video 组、配置 udev 规则,最后用 amd-smi 验证安装结果。

llama.cpp 和 audio.cpp 分别用来做什么?如何编译支持 ROCm 和 Vulkan 的版本?

llama.cpp 是基于 C/C++ 的高性能大模型本地推理框架,audio.cpp 是面向音频 AI 模型的轻量级 C/C++ 推理框架,二者都不依赖 Python、PyTorch 等完整深度学习环境。编译时分别用 cmake 生成 build_hip(-DGGML_HIP=ON 或 -DENGINE_ENABLE_HIP=ON,GPU_TARGETS=gfx1151)和 build_vulkan(-DGGML_VULKAN=ON 或 -DENGINE_ENABLE_VULKAN=ON)两套配置,再执行 cmake --build 编译并安装到 ~/.local/bin。

FastFlowLM 是什么?它能同时运行哪些模型?

FastFlowLM 是 AMD Ryzen AI 平台上专门针对 NPU 优化的本地 AI 推理引擎,可在不依赖独立 GPU 的情况下运行 LLM、VLM、语音识别等模型,实现低功耗、本地化、高效率推理。通过 flm serve 可同时启动一个 Embedding 模型、一个 ASR 模型、一个 Decision 模型和一个多模态(OCR)模型,模型文件默认存储在 ~/.config/flm/models,可用 FLM_MODEL_PATH 环境变量修改路径。

这台小主机的定位是什么?适合跑哪些 AI 模型,不适合跑哪些?

定位是部署本地 AI 和其他应用服务。适合部署文本生成模型(Agent 常用模型)、嵌入(Embedding)、决策(System One)、语音识别(ASR)、语音生成(TTS)等模型,还可留出部分 CPU 资源部署数据库和应用服务;图片生成尚可,视频生成对这台小主机就真是难为它了。

🏷️

标签

➡️

继续阅读