本文探讨了NVIDIA的CUDA生态系统,包括编译链、高层工具、分层结构、数学库(如cuBLAS和cuDNN)、通信库(如NCCL)及Triton DSL。文章比较了AMD ROCm和华为CANN的定位,分析了CUDA在大模型训练中的重要性和优势,并强调了性能调优工具Nsight的使用,以及FP8训练的潜在问题和解决方案。
lw.GPU.PP-OCRv5Service是基于PaddleSharp的免费GPU OCR服务,支持多语言和复杂场景,具备高性能识别,用户可轻松一键部署。
文章记录了在PVE环境下部署开源大模型的过程,包括修改软件源、安装必要软件、配置IOMMU、安装NVIDIA驱动和CUDA等步骤。还介绍了如何安装Ollama以运行LLM大模型,并配置相关参数,最后提到安装Docker以支持Dify。
文章介绍了如何在电脑上安装和切换不同版本的Python、CUDA和cuDNN,以支持AI应用。内容包括Python 3.10和3.11的安装、CUDA 11.8和12.4的切换、以及Microsoft Visual Studio和C++编译工具的安装。还解决了CUDA路径设置等常见问题,并提供了运行LivePortrait和FaceFusion 3的步骤。
本文介绍了在Ubuntu系统上安装显卡环境的步骤,包括显卡驱动、CUDA和cuDNN的安装,以及Miniconda3的安装和常用命令。通过这些步骤,可以在Ubuntu系统上部署开源的大模型和其他AI相关项目。
在 Windows 和 WSL2 中安装 Cuda 和 Cudnn ,是配置 GPU 开发环境中重要的一步,其支撑了 AI 模型进行 Training 和 Interface 。本篇介绍安装 CUDA 和 Cudnn 的步骤和一些踩过的坑。 参考资料如下:版本查看 | Win 安装 Cuda 和cuDNN | WSL 2 安装 CUDA 和cuDNN Win 11 安装 CUDA 和...
导言 作为深度学习和并行计算的核心工具,CUDA(Compute Unified Device Architecture)为NVIDIA显卡提供了并行计算的能力。在本教程中,我们将详细介绍如何在Ubuntu操作系统下配置CUDA。本教程以CUDA 12.1和Ubuntu 20…
此文是自己首次配置 Centos7 和深度学习 GPU 环境的配置流程,一些容易碰到的坑和参考资料都已注明清楚。 Centos7 系统可从自己的百度云盘下载: 链接:https://pan.baidu.com/s/1xYEdRHhTTOYef4qz5vtpHA 密码:wog4 GPU 硬件是 GeForce GTX 960,非 POWER8/POWER9...
完成下面两步后,将自动完成登录并继续当前操作。