陈少文的博客
·
Ascend 环境变量配置
内容提要
本文介绍了HCCL的初始化配置，包括通信网卡IP、端口号、超时设置和白名单功能。用户可通过环境变量配置网卡、协议、缓存大小及通信算法，以优化集群通信性能。
关键要点
-
HCCL初始化配置包括通信网卡IP、端口号、超时设置和白名单功能。
-
HCCL_IF_IP用于配置通信网卡的IP地址。
-
HCCL_IF_BASE_PORT指定Host网卡的起始端口号，默认占用16个端口。
-
HCCL_SOCKET_IFNAME用于指定使用的网卡名称。
-
HCCL_SOCKET_FAMILY指定通信网卡使用的IP协议，支持IPv4和IPv6。
-
HCCL_CONNECT_TIMEOUT限制不同设备之间socket建链的超时时间，默认120秒。
-
HCCL_EXEC_TIMEOUT控制设备间执行时的同步等待时间，默认1836秒。
-
HCCL_INTRA_PCIE_ENABLE和HCCL_INTRA_ROCE_ENABLE配置多卡间的通信方式。
-
HCCL_WHITELIST_FILE指定通信白名单配置文件的路径。
-
HCCL_WHITELIST_DISABLE用于开启或关闭通信白名单，默认值为1（关闭）。
-
HCCL_RDMA_TC和HCCL_RDMA_SL配置RDMA网卡的traffic class和service level。
-
HCCL_BUFFSIZE配置通信缓存的大小，默认值为100MB。
-
HCCL_RDMA_TIMEOUT和HCCL_RDMA_RETRY_CNT配置RDMA网卡的重传超时时间和重传次数。
-
HCCL_ALGO配置集合通信的跨机通信算法，支持全局和按算子配置。
-
HCCL_DIAGNOSE_ENABLE用于开启任务详细信息的缓存，便于问题定位。
-
HCCL_ENTRY_LOG_ENABLE控制算子调用行为日志的打印方式。
-
HCCL_OP_EXPANSION_MODE配置通信算法的编排展开位置。
-
HCCL_DETERMINISTIC配置是否开启归约类通信算子的确定性计算，默认值为false。
延伸解读
HCCL配置的重要性
HCCL的初始化配置直接影响集群的通信性能。正确设置通信网卡IP、端口号和超时设置，可以显著提高数据传输效率，减少延迟，确保任务的顺利执行。用户在配置时需特别注意这些参数的合理性，以避免因配置不当导致的通信故障。
白名单功能的应用
HCCL的白名单功能可以增强集群的安全性。通过配置HCCL_WHITELIST_FILE，用户可以限制只有特定IP地址的设备才能参与通信。这在多租户环境中尤为重要，可以有效防止未授权设备的接入，保护数据安全。
RDMA配置的细节
RDMA网卡的配置对高性能计算至关重要。HCCL_RDMA_TC和HCCL_RDMA_SL的设置需要与网卡的PFC优先级一致，以避免性能下降。用户在调整这些参数时，应仔细检查网卡的实际配置，确保两者之间的匹配。
延伸问答
如何配置HCCL的通信网卡IP地址？
使用环境变量HCCL_IF_IP来配置通信网卡的IP地址，例如：export HCCL_IF_IP=10.10.10.1。
HCCL的默认连接超时时间是多少？
HCCL的默认连接超时时间为120秒，可以通过HCCL_CONNECT_TIMEOUT进行修改。
如何启用HCCL的通信白名单功能？
通过设置HCCL_WHITELIST_DISABLE为0来启用通信白名单功能，并使用HCCL_WHITELIST_FILE指定白名单配置文件路径。
HCCL的缓存大小如何配置？
使用环境变量HCCL_BUFFSIZE来配置通信缓存的大小，默认值为100MB。
HCCL支持哪些IP协议？
HCCL支持IPv4和IPv6两种IP协议，可以通过HCCL_SOCKET_FAMILY进行配置。
如何配置HCCL的跨机通信算法？
使用环境变量HCCL_ALGO来配置跨机通信算法，支持全局和按算子配置两种方式。
