香港GPU服务器显卡驱动安装、深度学习环境搭建?

香港GPU服务器显卡驱动安装、深度学习环境搭建?

在香港搭建GPU服务器后，显卡驱动安装和深度学习环境的配置是关键步骤。以下是一个详细的指导：

1. 硬件确认

确保你的香港GPU服务器硬件信息和安装环境：

显卡型号：如 NVIDIA RTX 40 系列、A100、V100 等。

操作系统：建议使用 Linux 系统(Ubuntu 是最佳选择，版本如 20.04 或 22.04)。

网络连接：服务器是否有稳定的网络(尤其是安装驱动和软件时需要访问互联网)。

2. 安装 NVIDIA 驱动

(1) 检查显卡信息

通过以下命令确认显卡是否已被系统识别：

lspci | grep -i nvidia

(2) 移除旧版本驱动

如果系统中已经安装了旧的 NVIDIA 驱动，先卸载：

sudo apt-get --purge remove "*nvidia*"

(3) 添加 NVIDIA 驱动库

为确保获取最新版本驱动：

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt-get update

(4) 安装推荐驱动

系统会自动推荐兼容的驱动版本：

ubuntu-drivers devices

sudo apt install nvidia-driver-<版本号>

例如：

sudo apt install nvidia-driver-535

(5) 验证安装

安装完成后，重启服务器并验证驱动是否正常运行：

nvidia-smi

若显示 GPU 相关信息，说明驱动安装成功。

3. 安装 CUDA 和 cuDNN

NVIDIA 驱动只是基础，还需要安装 CUDA 和 cuDNN 来支持深度学习框架。

(1) 确认兼容的 CUDA 版本

根据显卡型号和深度学习框架的需求选择 CUDA 版本：

NVIDIA CUDA 版本兼容性列表

(2) 下载并安装 CUDA

下载 CUDA：

wget https://developer.download.nvidia.com/compute/cuda/<版本号>/local_installers/cuda_<版本号>_linux.run

例如：

wget https://developer.download.nvidia.com/compute/cuda/12.2/local_installers/cuda_12.2.0_535.54.03_linux.run

安装：

sudo sh cuda_<版本号>_linux.run

遵循提示安装并选择 "Driver" 和 "Toolkit"。

配置环境变量：在 ~/.bashrc 添加：

export PATH=/usr/local/cuda/bin:$PATH

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后执行：

source ~/.bashrc

验证安装：

nvcc --version

(3) 安装 cuDNN

前往 NVIDIA cuDNN 下载页面 下载对应版本。

解压并拷贝文件：

tar -xzvf cudnn-<版本号>.tgz

sudo cp cuda/include/cudnn*.h /usr/local/cuda/include

sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

4. 安装深度学习环境

以下是推荐的深度学习环境安装步骤：

(1) 安装 Python 和包管理工具

安装 Python 及其包管理工具：

sudo apt update

sudo apt install python3 python3-pip

(2) 创建虚拟环境

使用 venv 或 conda 创建隔离的环境：

python3 -m venv dl-env

source dl-env/bin/activate

(3) 安装深度学习框架

PyTorch：根据 PyTorch 官网 的指引安装，示例：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu12

TensorFlow：根据所支持的 CUDA 版本安装，示例：

pip install tensorflow

(4) 验证安装

验证 GPU 是否被深度学习框架检测到：

PyTorch：

import torch

print(torch.cuda.is_available())

print(torch.cuda.get_device_name(0))

TensorFlow：

import tensorflow as tf

print(tf.config.list_physical_devices('GPU'))

5. 远程访问与开发工具

为了方便操作，可以部署以下工具：

Jupyter Notebook：安装并运行 Jupyter 服务：

pip install jupyter

jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser

VS Code Server：便于远程开发，可安装 code-server。

6. 性能优化与管理

(1) GPU 使用监控

使用 nvidia-smi 查看显存、温度和利用率。

或安装 NVIDIA 工具如 Nsight Systems。

(2) 任务调度

安装 Slurm 或其他调度系统，优化多用户任务的管理。

(3) Docker 化部署

安装 Docker 和 NVIDIA 容器工具包，简化环境配置：

sudo apt-get install docker.io

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \

&& curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

sudo systemctl restart docker

7. 维护与常见问题

驱动冲突：如果使用 TensorFlow 和 PyTorch，确保安装的 CUDA 版本和框架兼容。

系统更新：避免自动更新可能导致驱动不兼容，建议锁定驱动版本。

如果有更多具体需求或遇到问题，可以随时告诉我!