量子位
·
成本打到6万以下，手把手教你用4路锐炫™显卡+至强®W跑DeepSeek
💡
原文中文，约5500字，阅读约需13分钟。
📝
内容提要
本文介绍如何使用4路英特尔锐炫™ A770显卡与至强® W处理器搭建DeepSeek推理环境，成本控制在5-6万元人民币，涵盖硬件安装、软件配置及驱动安装，旨在帮助企业用户高效部署AI应用。
🎯
关键要点
- 本文介绍如何使用4路英特尔锐炫™ A770显卡与至强® W处理器搭建DeepSeek推理环境，成本控制在5-6万元人民币。
- DeepSeek是全球扩展大模型应用实践的重要工具，英特尔锐炫™显卡为其提供加速支持。
- 搭建方案包括硬件环境、驱动与软件配置、优化参数设置等步骤。
- 硬件安装配置需在BIOS中启用Re-Size BAR Support，并安装Ubuntu 22.04.1 LTS操作系统。
- 安装驱动程序时需确保APT网络连接，并按照步骤添加Intel GPU源。
- 设置GPU的HDMI显示需要禁用ast卡并配置为Wayland模式。
- 安装监控工具xpu-smi以管理XPU设备状态信息。
- 用户可通过Docker在英特尔锐炫™ A770显卡上使用IPEX-LLM开展vLLM服务。
- 通过Ollama webui进行LLM推理性能测试，确保DeepSeek推理服务正常运行。
- 未来将推出新一代英特尔锐炫™显卡B580，支持更大参数量的DeepSeek服务。
❓
延伸问答
如何使用4路锐炫™显卡和至强® W处理器搭建DeepSeek推理环境？
搭建DeepSeek推理环境需要安装4路英特尔锐炫™ A770显卡与至强® W处理器，并配置Ubuntu 22.04.1 LTS操作系统，确保BIOS中启用Re-Size BAR Support，安装必要的驱动和软件。
DeepSeek推理环境的成本大约是多少？
搭建DeepSeek推理环境的成本控制在5-6万元人民币。
在安装驱动程序时需要注意什么？
安装驱动程序时需确保APT网络连接，并按照步骤添加Intel GPU源，确保使用正确的内核版本。
如何在DeepSeek环境中进行性能测试？
可以通过Ollama webui进行LLM推理性能测试，使用SSH将远程服务端口映射到本地，并配置DeepSeek模型信息。
DeepSeek的主要应用场景是什么？
DeepSeek主要用于扩展大模型应用实践，提供AI推理服务，适合企业用户部署相关AI应用。
未来有哪些新一代的英特尔锐炫™显卡计划推出？
未来将推出新一代英特尔锐炫™显卡B580，支持更大参数量的DeepSeek服务，显存容量达到96GB。
➡️
