华为云ModelBox实战：体感小游戏应用实操-编程知识

简易Flappy Bird游戏，ModelBox体感小游戏：玩家通过上下摆动双臂做出“扇动翅膀”的动作，阻止小鸟下落，躲避画面中的“狼柱”；如果小鸟不小心碰到了“狼”或者触碰到画面边缘，游戏停止，然后会重新开始。画面左上方显示的是玩家存活的时长。

一、VsCode插件注册ModelBox设备

安装VsCode，VS Code官网下载安装Windows x64版本的编辑器，也可以参考Visual Studio Code 安装教程，打开VsCode，搜索并安装ModelBox管理插件

在这里插入图片描述

安装完成后，点击插件，进入华为云登录界面，获取访问密钥

在这里插入图片描述

新增访问密钥，确认后将下载的表格文件中AK/SK，输入访问密钥登录

在这里插入图片描述

登录后，右键ModelBox的本地设备，选择注册此设备，即可注册完成

在这里插入图片描述

二、Windows SDK安装

1.安装Git for Windows

ModelBox中有些脚本的执行依赖bash，使用Git bash也可以让开发者在Windows上获得与Linux相同的执行环境，因此需要安装Git for Windows，根据以下步骤安装即可

在这里插入图片描述

安装时注意勾选关联sh文件的默认应用为Git for Windows，即Associate .sh files to be run with Bash其他按照默认点击即可

在这里插入图片描述

2.下载ModelBox SDK

在HiLens管理控制台，选择专业版，同意协议后，再选择技能开发-工具/插件板块下载Windows系列的ModelBox SDK

在这里插入图片描述

新建一个用于ModelBox开发的文件夹（注意路径中不能有中文和空格），将下载的SDK压缩包解压到该路径

在这里插入图片描述

使用VSCode打开该文件夹

在这里插入图片描述

ModelBox SDK的目录结构，modelbox-win10-x64文件夹即为ModelBox核心库，包含ModelBox运行环境、内置的功能单元等，SDK中已经包含了Python运行环境python-embed目录，AI应用常用的OpenCV、NumPy等三方库也已经内置，开发者无需手动安装

在这里插入图片描述

3.相关插件安装

相关插件安装用于提高开发效率

Python：后面教程会涉及到ModelBox的Python功能单元开发，可以进行语法高亮、自动补全、代码跳转等

在这里插入图片描述

Even Better TOML：ModelBox中的流程图、配置文件等使用 TOML 语法编写，可以进行语法检查、关键字高亮、文件排版等

在这里插入图片描述

三、体感小游戏应用开发

1.技能模板使用

新建终端：打开VSCode，点击终端-新建终端，在下方会出现一个新终端

在这里插入图片描述

ModelBox技能模板：ModelBox中存在口罩检测、手势检测、人体姿态识别等AI技能模板，存放在华为云OBS中

在ModelBox SDK中提供了一个solution.bat工具，用于下载云侧的技能模板，执行.\solution.bat -l可看到当前已有的技能模板，如果是第一次执行solution.bat工具，会先去下载安装相关的obs工具

.\solution.bat -l

在这里插入图片描述
安装完成后再执行一次.\solution.bat -l，就可以看到技能模板了

在这里插入图片描述

2.AI应用示例

创建工程：ModelBox SDK中提供了create.bat工具，用于创建ModelBox工程、创建功能单元、工程打包等

执行.\create.bat可看到辅助工具的用法介绍

.\create.bat

在这里插入图片描述

执行以下命令可以创建车辆检测技能

.\create.bat -t server -n car_det -s car_det

在这里插入图片描述

创建好的工程结构如下

在这里插入图片描述

运行应用：车辆检测技能默认会打开工程中的测试视频（data/car_test_video.mp4），检测画面中的车辆，将车辆画框再输出到另一个视频文件中

进入到车辆检测工程目录，然后执行命令启动应用

cd .\workspace\car_det\
.\bin\main.bat

在这里插入图片描述

看到Task SUCCEEDED、请按任意键继续等字样，即表示应用运行完毕

在这里插入图片描述

在hilens_data_dir目录下生成了car_test_result.mp4文件，用播放器打开将看到车辆检测效果

在这里插入图片描述

至此，ModelBox开发环境已准备完毕，可以进行AI应用开发了

3.体感小游戏体验

体感小游戏对应的ModelBox版本已经做成模板放在华为云OBS中，可以用SDK中的solution.bat工具下载

下载模板：执行.\solution.bat -l查看当前公开的技能模板

.\solution.bat -l

在这里插入图片描述

pose_game_flappy_bird为体感小游戏应用模板，下载模板

.\solution.bat -s pose_game_flappy_bird

solution.bat工具的参数中，-l 代表list，即列出当前已有的模板名称；-s 代表solution-name，即下载对应名称的模板，下载下来的模板资源，将存放在ModelBox核心库的solution目录下

在这里插入图片描述

创建工程：在ModelBox SDK目录下使用create.bat创建flappy_bird工程

.\create.bat -t server -n flappy_bird -s pose_game_flappy_bird

create.bat工具的参数中，-t 表示创建事务的类别，包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等；-n 代表name，即创建事务的名称；-s 代表solution-name，表示将使用后面参数值代表的模板创建工程，而不是创建空的工程

在这里插入图片描述

运行应用：打开工程目录下bin/mock_task.toml文件，修改其中的任务输入和任务输出配置为如下内容

即使用编号为0的摄像头（默认为PC自带的摄像头），输出画面显示到名为pose_game的本地屏幕窗口中

[input]
type = "url"
url = "0"  # 表示0号摄像头，即PC自带摄像头，若PC无摄像头需外接USB摄像头[output]
type = "local"
url = "0:pose_game"  # 表示名为```pose_game```的本地窗口

在这里插入图片描述

进入到应用目录，执行.\bin\main.bat运行应用开始游戏

cd .\workspace\flappy_bird\
.\bin\main.bat

在这里插入图片描述

在这里插入图片描述
如果需要终止游戏，打开任务管理器，结束进程即可，然后返回终端停止

在这里插入图片描述

更多有关体感小游戏应用的介绍可以参考：ModelBox开发案例 - 体感小游戏