前言

        ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎，但在arm服务器上，onnxruntime只有CPU版的，GPU版的没有，因此需要自行去编译GPU版本的才可以。

环境准备

1、python3.8

2、cmake：2.26.0版本以上，可以直接下载aarch64版本的进行安装Releases · Kitware/CMake (github.com)

3、gcc：需要9.2版本以下，可以查看该篇文章进行编译【centos7 arm服务器编译安装gcc 9.2】

4、onnxruntime源码：GitHub - microsoft/onnxruntime: ONNX Runtime: cross-platform, high