在风起云涌的AI江湖，NVIDIA凭借其CUDA生态和优秀的硬件立下赫赫战功，而另一家公司AMD也不甘示弱，带着他的生态解决方案ROCm开始了与不世出的NVIDA的正面硬钢，"ROCm is the answer to CUDA", AMD官网如是说。之前有搭建过CUDA的学习平台，今天尝试基于AMDGPU，搭建一个ROCm的学习平台。

平台信息

基于Ubuntu 20.04.6 LTS x86_64，显卡为AMD Ryzen 5 5600G with Radeon Graphics集显，应该是VEGA系列，支持VULKAN，OPENCL，当然，不支持CUDA。

搭建步骤

执行如下命令序列，添加用户组和安装ROCm一步到位：

sudo apt update && sudo apt dist-upgrade
sudo apt-get install wget gnupg2 
sudo usermod -a -G video $LOGNAME
sudo usermod -a -G render $LOGNAME
echo 'ADD_EXTRA_GROUPS=1' | sudo tee -a /etc/adduser.conf
echo 'EXTRA_GROUPS=video' | sudo tee -a /etc/adduser.conf
echo 'EXTRA_GROUPS=render' | sudo tee -a /etc/adduser.conf
sudo wget https://repo.radeon.com/amdgpu-install/22.10/ubuntu/focal/amdgpu-install_22.10.50100-1_all.deb
sudo apt-get install ./amdgpu-install_22.10.50100-1_all.deb 
sudo amdgpu-install --usecase=dkms
amdgpu-install -y --usecase=rocm
echo 'export PATH=$PATH:/opt/rocm/bin:/opt/rocm/profiler/bin:/opt/rocm/opencl/bin' | sudo tee -a /etc/profile.d/rocm.sh

安装结束后，将会在/opt目录下安装GPU开发SDK， LLVM编译器, opencl, profile, tools等开发工具，便于用户开发自己的基于AMDGPU加速的应用程序。

测试环境

执行rocm-smi获取显卡设备信息，执行时发现在获取SCLK和功耗两个参数时报错，可能是SDK和显卡兼容方面的问题，不过没有影响后面的简单测试，所以也就没有理会。

AMD一直提倡一种混合异构架构（HSA），这种架构下CPU和GPU乃至各种异构算力被一视同仁，遵守同样的编成模型开发，从rocminfo工具的输出可以看到这一点：

$ sudo /opt/rocm/bin/rocminfo

我的计算平台有两个AGENT，分别是CPU和GPU：

GPU Agent信息，计算单元数量，计算最大的TENSOR维数信息，QUEUE数量，WAVE(Warpper)大小等信息：

opencl支持信息

ROCm不直接支持CUDA，但是 support another GPU programming mode opencl,通过clinfo查看：

/opt/rocm/opencl/bin/clinfo

docker容器运行测试

下载pytorch环境的docker:

sudo docker run -it -v $HOME:/data --privileged --rm --device=/dev/kfd --device=/dev/dri --group-add video --name pytorch rocm/pytorch:latest

之后，在docker终端中执行如下命令，验证对CUDA的支持（猜测是利用CUDA的生态，底层是CUDA转OpenCL的算子实现）：

>>> import torch
>>> torch.cuda.is_available()

输出为TRUE，说明AMDGPU的硬件加速平台搭建成功了。

简单分析

细心的同学可能注意到，在启动docker的测试命令中，传入了一个设备参数--device=/dev/kfd给到DOCKER环境，这个非常重要,kfd本身就是代表AMDGPU异构计算的GPU设备驱动（KMD）的设备节点，它是用户使用的基础。

AMD的amdkfd 可以理解为在 DRM 子系统中提供了 CPU 与 GPU 沟通的快速通道，使得两者可以平等的访问内存资源而无需额外拷贝。

我们可以在运行上面的测试时，简单追踪以下对KFD内核驱动的调用，以验证加速环境确实使用的AMDGPU显卡，KFD是一个字符设备，所以可以追踪其中的几个FOPS调用，不出所料，我们追踪到了对KFD的调用：

参考资料

Index of /amdgpu-install/

https://www.cnblogs.com/lllzhuang/articles/16083003.html

结束