TDA4VM-SK配置与应用杂谈-编程知识

TDA4VM-SK配置与应用杂谈

news/2024/11/14 13:38:37/文章来源:https://www.cnblogs.com/wujianming-110117/p/18299655

TDA4VM-SK配置与应用杂谈

硬件信息：SK-TDA4VM 用户指南

处理器SDK Linux边缘AI文档

配置文档：SK-TDA4VM处理器SDK Linux文档-getting_started，详细说明了如何配置，下面是简要步骤：

物料准备： SK板，microUSB串口线，USB camera，HDMI/DP显示器，≥16GB的内存卡，网线和局域网*，串口电源（5-20V DC ≥20w），散热风扇

1）通过USB挂载SD卡到Ubuntu（在虚拟机设置里）

2）下载SD card .wic image，使用Balena etcher tool 1.7.0 把图像闪存到SD卡上

3）然后插入SD卡到SK板，拨码开关拨到数字端，系统从SD卡启动

4）SK板连接显示器，上电，进入界面。

5）连接串口线，在虚拟机设置中挂载USB串口，使用 minicom 串口通讯：

sudo apt-get install minicom #安装minicom(在minicom中自动换行：Ctrl+A Z W)

sudo minicom -D /dev/ttyUSB2 -c on

#输入用户名：root，登录tda4vm-sk

#若连接了USB摄像头此时会显示端口信息，也可以运行 ./init_script.sh 查摄像头端口号：/dev/video2

连接显示器后（HDMI/DP），可以鼠标点击试运行开箱即用的 GUI 应用程序，也可使用 Python 和C++参考示例开发边缘 AI 应用程序：

#配置

cd /opt/edgeai-gst-apps/configs/ #app_config_template.yaml中有参数介绍

vi image_classification.yaml #flow参数配置为摄像头输入input0

#运行实例，替换为configs下其他文件能执行不同任务，如object_detection.yaml

#Classification (python)

cd /opt/edgeai-gst-apps/apps_python

./app_edgeai.py ../configs/image_classification.yaml #ctrl+c退出

#Classification (c++)

cd /opt/edgeai-gst-apps/apps_cpp

./bin/Release/app_edgeai ../configs/image_classification.yaml

#视频流车辆检测

cd /opt/edgeai-gst-apps/scripts/optiflow

`./optiflow.py ../../configs/object_detection.yaml -t` #如果没有单引号，终端会将 -t 选项解释为一个单独的参数，而不是作为 optiflow.py 命令的选项之一

#多flows

flows:

# flowname : [input,mode1,output,[mosaic_pos_x,mosaic_pos_y,width,height]]

flow0: [input0,model1,output0,[160,90,800,450]]

flow1: [input0,model2,output0,[960,90,800,450]]

flow2: [input1,model0,output0,[160,540,800,450]]

flow3: [input1,model3,output0,[960,540,800,450]]

如果运行过程中突然重启，一般是需要加个风扇增强散热。

可选操作：连接网线，ifconfig查询板子ip地址，后面即可使用ssh登陆，可以使用vscode的remote插件来直接ssh登陆到板子，然后可以很方便地修改配置文件; 安装tensorflow，onnx，python和c++依赖库 /opt/edge_ai_apps#./setup_script.sh

Dataflows

GStreamer输入管道：

v4l2src device=/dev/video18 io-mode=2 ! image/jpeg, width=1280, height=720 ! jpegdec ! tiovxdlcolorconvert ! video/x-raw, format=NV12 ! tiovxmultiscaler name=split_01

split_01. ! queue ! video/x-raw, width=320, height=320 ! tiovxdlpreproc data-type=10 channel-order=1 mean-0=128.000000 mean-1=128.000000 mean-2=128.000000 scale-0=0.007812 scale-1=0.007812 scale-2=0.007812 tensor-format=rgb out-pool-size=4 ! application/x-tensor-tiovx ! appsink name=pre_0 max-buffers=2 drop=true

split_01. ! queue ! video/x-raw, width=1280, height=720 ! tiovxdlcolorconvert out-pool-size=4 ! video/x-raw, format=RGB ! appsink name=sen_0 max-buffers=2 drop=true

GStreamer output pipeline:

appsrc format=GST_FORMAT_TIME is-live=true block=true do-timestamp=true name=post_0 ! tiovxdlcolorconvert ! video/x-raw,format=NV12, width=1280, height=720 ! queue ! mosaic_0.sink_0

appsrc format=GST_FORMAT_TIME block=true num-buffers=1 name=background_0 ! tiovxdlcolorconvert ! video/x-raw,format=NV12, width=1920, height=1080 ! queue ! mosaic_0.background

tiovxmosaic name=mosaic_0

sink_0::startx="<320>" sink_0::starty="<180>" sink_0::widths="<1280>" sink_0::heights="<720>"

! video/x-raw,format=NV12, width=1920, height=1080 ! kmssink sync=false driver-name=tidss

边缘AI应用程序堆栈

TIDL

TIDL_Importer

RTOS SDK中内置TIDL_Importer，可以直接使用, 实现Demo模型转换和运行

Demo教程：MobileNetV2 Tensorflow，PeleeNet Caffe，JSegNet21V2 Caffe model，下面以PeleeNet为例

Config TIDL_Importer

export TIDL_INSTALL_PATH=/home/wyj/SDK/ti-processor-sdk-rtos-j721e-evm-08_06_01_03/tidl_j721e_08_06_00_10

#配置永久环境变量更方便，sudo gedit /etc/profile，末尾加入如上代码，然后source /etc/profile加载立即生效，但是后续有变动要记得改

#optional：tidlModelGraphviz tool 模型可视化工具

sudo apt install graphviz-dev

export TIDL_GRAPHVIZ_PATH=/usr

cd ${TIDL_INSTALL_PATH}/ti_dl/utils/tidlModelGraphviz

make

导入PeleeNet模型进行目标检测（caffe）

下载并提取.caffemodel，deploy.prototxt放入ti_dl/test/testvecs/models/public/caffe/peele/pelee_voc/

deploy.prototxt中改confidence_threshold: 0.4

cd ${TIDL_INSTALL_PATH}/ti_dl/utils/tidlModelImport

./out/tidl_model_import.out ${TIDL_INSTALL_PATH}/ti_dl/test/testvecs/config/import/public/caffe/tidl_import_peeleNet.txt

#${TIDL_INSTALL_PATH}/ti_dl/test/下面的配置文件在RTOSsdk8.6中找不到，要从SDK8.5复制。

#成功分配内存

# 用于推理的已编译网络和I/O.bin文件

#在ti_dl/test/testvecs/config/tidl_models/caffe/tidl_net_peele_300.bin中已编译的网络文件

# 在ti_dl/test/testvecs/config/tidl_models/caffe/tidl_io_peele_300_1.bin中已编译的I/O文件

# 在 ti_dl/utils/perfsim/tidl_import_peeleNet.txt/tidl_import_peeleNet...csv中网络分析的性能仿真结果

#若是tensorflow例程，.pb需要先运行tensorflow的.local/lib/python3.6/site-packages/tensorflow/python/tools/optimize_for_inference.py工具进行模型推理优化，再导入。

运行PeleeNet进行目标检测

#在文件ti_dl/test/testvecs/config/config_list.txt顶部加入:

1 testvecs/config/infer/public/caffe/tidl_infer_pelee.txt

#运行，结果在ti_dl/test/testvecs/output/

cd ${TIDL_INSTALL_PATH}/ti_dl/test

./PC_dsp_test_dl_algo.out

#若标注框大小不匹配，需要改deploy.prototxt文件顶部：dim: 512 dim: 1024

测试使用ti_dl/test/testvecs/input/ti_lindau_I00000.bmp作为语义分割的输入图像。

测试打印PC模拟所花费的时间，并将生成的后处理输出图像存储在ti_dl/test/testvecs/output/jsegNet1024x512.bin_ti_lindau_I00000.bmp 000000_tidl_post_proc3.png中，该图像显示为检测到的对象生成的分割掩码。

picture 1

EdgeAI TIDL工具

EdgeAI TIDL工具是TI提供的深度学习开发工具，后续会多次用到。

要求：OS——Ubuntu 18.04，Python版本——3.6

图 9

1）OSRT(开源运行时：TFLite、ONNX、TVM) 作为用户应用程序的顶级推理 API

2）将子图卸载到 C7x/MMA 以使用TIDL进行加速执行

3）在 ARM 核心上运行优化代码，以支持 TIDL 不支持的层（支持情况）

Setup - TexasInstruments/edgeai-tidl-tools at 08_06_00_05

sudo apt-get install libyaml-cpp-dev

git clone https://github.com/TexasInstruments/edgeai-tidl-tools.git #failed：手动安装证书 git config --global http.sslVerify false，export GIT_SSL_NO_VERIFY=1

cd edgeai-tidl-tools

git checkout 08_06_00_05

export SOC=am68pa

source ./setup.sh

#Docker Based X86_PC Setup 跳过，不用docker装

#配置变量

export SOC=am68pa

export TIDL_TOOLS_PATH=$(pwd)/tidl_tools

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TIDL_TOOLS_PATH

export ARM64_GCC_PATH=$(pwd)/gcc-arm-9.2-2019.12-x86_64-aarch64-none-linux-gnu

#配置永久环境变量更方便，sudo gedit /etc/profile，末尾加入如上代码，然后source /etc/profile加载立即生效

source ./scripts/run_python_examples.sh #编译运行