AI开发软件环境概览

💡 原文英文,约1400词,阅读约需6分钟。
📝

内容提要

本文介绍AI开发环境配置:安装Ubuntu系统,建议用zsh替代bash;使用包管理器(winget、brew、apt);安装NVIDIA GPU驱动及CUDA;配置ssh、Git;推荐Miniconda而非Anaconda;安装TensorFlow、PyTorch,注意CUDA版本对应;配置Jupyter Lab远程访问及VSCode远程开发。

🔎

延伸解读

虚拟机无法调用GPU,深度学习需物理机或服务器

文章明确指出,在Windows虚拟机中安装Ubuntu时,显卡由物理CPU模拟,无法调用物理GPU,因此不能用于深度学习训练。这意味着如果读者计划进行模型训练,必须直接在物理机上安装Ubuntu,或使用带有GPU的远程服务器。这一限制是环境配置前需要优先考虑的关键点,避免后续因硬件不可用而返工。

Miniconda相比Anaconda更节省空间,适合按需安装

文章推荐使用Miniconda而非Anaconda,因为Anaconda默认包含大量AI开发中可能用不到的包,占用较多磁盘空间;Miniconda仅提供conda、Python和必要依赖,允许用户按需安装所需包。对于磁盘空间有限或希望保持环境简洁的开发者,Miniconda是更轻量的选择。同时,文章建议将Miniconda安装在SSD上以加快读写速度。

TensorFlow对CUDA版本要求严格,PyTorch相对灵活

文章对比了TensorFlow和PyTorch在CUDA版本兼容性上的差异:TensorFlow不同版本对CUDA有严格的对应要求,例如系统安装CUDA10.1时安装tensorflow-2.4.0会报错;而PyTorch基于动态图,不同版本不需要严格对应系统CUDA。因此,在配置环境时,若使用TensorFlow需仔细核对版本匹配,而PyTorch则提供了更大的灵活性。

远程开发配置:Jupyter Lab与VSCode的服务器连接要点

文章介绍了在无图形界面的服务器上使用Jupyter Lab的步骤:生成配置文件、设置密码、修改IP和端口,并通过nohup后台启动,最后在本地浏览器用服务器IP替换localhost访问。VSCode则通过Remote-SSH扩展连接服务器,并建议配置SSH密钥免密登录。这些方法帮助开发者在本地获得接近图形界面的开发体验,同时利用服务器计算资源。

❓

Q&A

为什么在虚拟机中安装Ubuntu不能用于深度学习训练?

因为虚拟机中的显卡是由物理CPU模拟的,无法调用物理GPU,所以不能用于深度学习训练。

为什么推荐使用Miniconda而不是Anaconda?

Miniconda只包含conda、Python和必要依赖,占用磁盘空间小,可以按需安装包;而Anaconda默认包含大量包,很多对典型AI开发环境不必要。

安装TensorFlow和PyTorch时对CUDA版本有什么要求?

TensorFlow不同版本对CUDA有严格对应要求,例如系统安装CUDA10.1时安装tensorflow-2.4.0会报错;PyTorch基于动态图,不同版本不需要严格对应系统CUDA。

如何在远程服务器上配置Jupyter Lab并实现本地访问?

步骤:1. 通过ssh连接服务器;2. 激活conda环境;3. 安装jupyterlab并添加环境到Jupyterlab;4. 生成配置文件;5. 设置登录密码;6. 编辑配置文件,设置IP为'*'、不打开浏览器、指定端口;7. 后台启动jupyter lab并查看输出获取IP;8. 在本地浏览器中用服务器IP替换localhost访问。

在Linux上安装NVIDIA GPU驱动有哪些方法?

方法1:使用PPA(不能保证安全或最新版);方法2:通过CUDA Toolkit安装(推荐,包括安装驱动和CUDA);方法3:使用ubuntu-drivers(不推荐)。

如何配置VSCode进行远程开发?

安装Remote-SSH扩展,配置SSH连接,生成SSH密钥并复制到远程主机,然后通过Remote-SSH连接服务器进行开发。

🏷️

标签

➡️

继续阅读