引言
之前我们开源了一份HDR-ISP代码供大家入门学习，但很多后台同学反馈CPU版本是实时性不够、对于相机无法实时处理。没关系，今天Cuda加速、支持ROS2可以实时处理的的HDR-ISP GPU版本来啦！
此次GPU版本开源版本只提供lib供学习测试！加入星球后可以找星主获取资料以及源码，白嫖党、伸手党可以自行走开！
1. 项目描述
1.1 项目特点
一个使用C++编写的、使用GPU加速用于HDR相机的ISP Pipeline
ISP模块使用C风格编写
除仓库文件外，无其它第三方库依赖
可以通过json配置自定义你的pipeline
可以在任意支持C++的嵌入式平台上部署
可以在支持Cuda的PC上运行，同时支持Nvidia Jeston嵌入式设备
支持文件离线处理、支持ROS2实时Online运行
支持通过配置选择ISP Pipeline是在CPU上运行还是GPU上运行
1.2 默认Pipeline
默认Json配置pipeline:
1.3 当前支持的模块
支持的ISP模块列表(CPU and GPU)：
- Raw Domain
- MipiUnPack: Mipi原始数据转RAW16
- DePwl: 解压缩数据
- Dpc: 动态坏点校准
- Lsc: 镜头阴影校准
- Blc: 黑电平校准
- Rns: Raw域降噪
- WbGain: 白平衡增益
- Demoasic: 解马赛克
- RGB Domain
- Ltm: 局部色调映射
- RgbGamma: rgb伽马曲线
- Ccm: 色彩校准矩阵
- Rgb2Yuv: rgb域转yuv域
- YUV Domain
- YGamma: 灰度伽马曲线
- Contrast: 对比度提升
- Sharpen: 锐化边缘增强
- Cns: 颜色滤波
- Saturation: 色度提升
- Yuv2Rgb: yuv域rgb域
2. 如何编译与运行
2.1 Linux系统
开发环境 :
- nvcc
- cmake
- g++
编译
- 不使用ROS2
git clone https://github.com/JokerEyeAdas/HDR-ISP
cd HDR-ISP/
git checkout gpu_dev
mkdir build
cmake ..
make -j12
- 使用ROS2编译
- 克隆仓库
git clone https://github.com/JokerEyeAdas/HDR-ISP
cd HDR-ISP/
git checkout gpu_dev
- 编辑 CMakeLists.txt，设置ROS2_ENABLE成true
set(ROS2_ENABLE true)
- 编译
cd ${ros2_wk}
colcon build
2.2 Windows
开发环境 (x64):
- vs code
- cmake
- nvcc
- vs2019 c++ gen tool
编译
- 不使用 ROS2
git clone https://github.com/JokerEyeAdas/HDR-ISP
code HDR-ISP
git checkout gpu_dev
#cmake choose Debug or Release
#compiler choose xxx-amd64
#build all
- 使用ROS2
- 克隆仓库
git clone https://github.com/JokerEyeAdas/HDR-ISP
cd HDR-ISP/
git checkout gpu_dev
- 编辑CMakeLists.txt设置ROS2_ENABLE为true
set(ROS2_ENABLE true)
- 编译
cd ${ros2_wk}
colcon build --merge-install
2.3 运行
- 离线模式
cd build
#cp cfgs and data
cp -r ../data/ ./
cp -r ../cfgs/ ./
#run isp
./HDR_ISP ./cfgs/isp_config_cannon.json
- 在线模式
ros2 run hdr_isp pub_raw ./cfgs/xxxx.json
ros2 run hdr_isp hdr_isp ./cfgs/xxxx.json
ros2 run rviz2 rviz2
2.4 改变模式以及运行设备
- 使用GPU加速（通过Json进行配置）:
"device":"gpu",
- 使用CPU运行（通过Json进行配置）:
"device":"cpu",
- ROS2实时处理模式以及修改Topic
"mode":"online","topic":"/raw/connan",
- 离线处理RAW图
"mode":"offline","raw_file": "./data/connan_raw14.raw","out_file_path": "./",
2.5 如何调试参数
通过修改json配置来配置ISP模块的基本参数
如，修改sensor基本参数：
"info": {"sensor_name": "cannon","cfa": "RGGB","data_type": "RAW16","bpp": 16,"max_bit": 14,"width": 6080,"height": 4044,"mipi_packed": 0},
修改rgb gamma参数如下：
"rgbgamma": {"enable": true,"in_bit": 10,"out_bit": 8,"gammalut_nums": 11,"gammalut": [0,0.3504950718773984,0.48243595264750255,0.57750428843709,0.6596458942714417,0.731034378464739,0.7925580792857235,0.8509817015104557,0.9029435754464383,0.9534255851019492,1.0]}
3. GPU性能与ROS2支持
使用ROS以及GPU
- GPU性能(不发布ISP处理结果)
| Index | Resolution | GTX1080 | MX550 |
|---|---|---|---|
| 1 | 6080*4044 | 15 | 8 |
| 2 | 3840*2160 | 40 | 20 |
| 3 | 1920*1080 | 125 | 60 |
- ROS2 Online mode
4. 后续工作
4.1 TBD工作
- 编写Python或者GUI调试工具
4.2 资料获取
- 如果想学习源码、获取模块说明，请加入星球，我们共同开发！（毕竟开发者也要恰饭）
- 加入星球:
4.3 项目支持
- 感谢您的支持，希望我的项目对您有帮助~
5. 结束语
今天我们给大家介绍了HDR-ISP-GPU，希望对于入门的新人有一定的借鉴作用，同时希望我们的开源对于处于行业里面的你们有所帮助！
如果您对自动驾驶感兴趣，可以关注本公众号，当然有想了解的话题，也可以私信我，我们将对各位看官感兴趣的话题进行技术分享。
项目地址：https://github.com/JokerEyeAdas/HDR-ISP
项目分支：gpu_dev
项目GitHub快速传送门：HDR-ISP
6. 项目预告
哈哈，还没完！后台有老哥想要3D AVM实现方法，没关系，现在已经在准备实现中了，目前3D碗以及车的模型已经导入工作已经完成，状态如下：
想学习的加入知识星球，第一时间获取资料。今天就到这，peace。
如果您对ADAS感兴趣，欢迎关注我的公众号、知乎、CSDN等，同时发表文章中使用源码会在我的GitHub进行开源（网页About Me中有公众号、Github等信息）
