陈少文的博客
·
NVIDIA DCGM 使用指南
内容提要
DCGM（数据中心GPU管理器）是NVIDIA提供的工具，具备GPU监控、配置管理和健康诊断功能。安装时需配置驱动和源，通过命令行进行设备管理、性能监控和故障诊断。支持分组管理和策略设置，以自动处理异常。
关键要点
-
DCGM（数据中心GPU管理器）是NVIDIA提供的工具，具备GPU监控、配置管理和健康诊断功能。
-
DCGM的功能包括GPU行为监控、配置管理、策略监督、健康和诊断、计费和进程统计、NVSwitch配置和监控。
-
安装DCGM时需要配置驱动和源，并通过命令行进行设备管理、性能监控和故障诊断。
-
支持分组管理和策略设置，以自动处理异常。
-
安装DCGM需要添加源并使用apt-get命令进行安装。
-
DCGM提供命令行帮助，用户可以通过dcgmi命令访问不同的子系统。
-
可以使用dcgmi discovery命令查看GPU信息，使用topo命令查看GPU拓扑。
-
通过dcgmi nvlink命令查看链路状态和错误计数。
-
DCGM支持对GPU进行分组管理，便于监控和管理。
-
可以创建和维护字段组，用于监控和统计指标。
-
DCGM提供实时统计监控功能，支持指定GPU卡或分组进行监控。
-
健康监控功能可以检查GPU的健康状态，诊断功能提供环境完整性检查。
-
DCGM支持配置管理和策略管理，用户可以设置功率限制和异常处理策略。
-
可以查看加载的模块和DCGM进程的资源占用情况。
延伸问答
DCGM的主要功能是什么？
DCGM的主要功能包括GPU监控、配置管理、健康诊断、策略监督、计费和进程统计等。
如何安装DCGM？
安装DCGM需要添加源并使用apt-get命令进行安装，具体步骤包括配置驱动和源，然后执行'apt-get install -y datacenter-gpu-manager'。
DCGM如何进行GPU健康监控？
DCGM通过dcgmi health命令进行健康监控，可以检查GPU的健康状态并提供健康监控项的报告。
DCGM支持哪些命令行工具？
DCGM支持多种命令行工具，如dcgmi discovery、topo、nvlink、stats等，用于不同的管理和监控任务。
如何使用DCGM进行GPU分组管理？
可以使用dcgmi group命令创建和管理GPU分组，便于对GPU进行监控和管理。
DCGM的策略管理功能有什么作用？
DCGM的策略管理功能允许用户设置在特定事件发生时的自动处理操作，如温度过高时重置GPU。
