FPGA高端项目:解码索尼IMX327 MIPI相机+图像缩放+视频拼接+HDMI输出,提供开发板+工程源码+技术支持

目录

  • 1、前言
    • 免责声明
  • 2、相关方案推荐
    • 本博主所有FPGA工程项目-->汇总目录
    • 我这里已有的 MIPI 编解码方案
  • 3、本 MIPI CSI-RX IP 介绍
  • 4、个人 FPGA高端图像处理开发板简介
  • 5、详细设计方案
    • 设计原理框图
    • IMX327 及其配置
    • MIPI CSI RX
    • 图像 ISP 处理
    • 自研HLS图像缩放详解
    • Video Mixer多路视频拼接
    • 图像缓存
    • HDMI输出
    • 工程源码架构
    • 时序约束
  • 6、工程源码1详解-->IMX327解码+2路图像缩放拼接+HDMI输出
  • 7、工程源码2详解-->IMX327解码+4路图像缩放拼接+HDMI输出
  • 8、工程源码3详解-->IMX327解码+8路图像缩放拼接+HDMI输出
  • 9、工程移植说明
    • vivado版本不一致处理
    • FPGA型号不一致处理
    • 其他注意事项
  • 10、上板调试验证
    • 准备工作
    • 2路视频缩放拼接-->输出演示
    • 4路视频缩放拼接-->输出演示
    • 8路视频缩放拼接-->输出演示
  • 11、福利:工程代码的获取

FPGA高端项目:解码索尼IMX327 MIPI相机+图像缩放+视频拼接+HDMI输出,提供开发板+工程源码+技术支持

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高之一的应该就是MIPI协议了,MIPI解码难度之高,令无数英雄竞折腰,以至于Xilinx官方不得不推出专用的IP核供开发者使用,不然太高端的操作直接吓退一大批FPGA开发者,就没人玩儿了。

本设计基于Xilinx的Kintex7-325T中端FPGA开发板,采集2路IMX327 MIPI摄像头的4 Lane MIPI视频,IMX327 摄像头配置为 MIPI4 Lane RAW12模式,输出有效分辨率为1920x1080@60Hz;IMX327 MIPI摄像头引脚经过权电阻方案分出LP电路后接入FPGA的HS BANK的LVDS差分IO;采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX功能,输出AXI4-Stream格式的RAW12格式视频,该IP由本博免费提供;至此,MIPI视频解码工作完成,但此时的视频还是原始的RAW12格式,远远达不到输出显示要求,所以还需进行图像处理操作,也就是图像ISP操作;本博提供及其完整的图像ISP,具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作;经过ISP处理后的图像颜色饱满、画质清晰,输出RGB888格式的视频;然后用本博自研、基于HLS实现的、任意比例任意尺寸缩放的、AXIS接口的、傻瓜式使用的图像缩放IP,实现对MIPI视频的缩放处理;然后再使用Xilinx官方的Video Mixer IP实现多路视频拼接;然后使用Xilinx官方的VDMA图像缓存架构将视频缓存到板载的DDR3中;然后在VGA时序的控制下将缓存视频从DDR3中读出,再使用本博常用的HDMI输出模块将图像输出到显示器显示即可;针对目前市面上主流的索尼IMX系列相机,本方案一共移植了3套工程源码,详情如下:
在这里插入图片描述
IMX327-MIPI相机在FPGA开发板P3口和P4口的连接方式如下图:
在这里插入图片描述
现对上述3套工程源码做如下解释,方便读者理解:

工程源码1:Xilinx Kintex7-325T FPGA 解码板载的P3口和P4口的两路索尼 IMX327 MIPI相机视频,IMX327 被配置为 4 Lane RAW12 1080P分辨率;经FPGA解码、ISP图像处理、图像缩放、图像缓存、2路视频拼接、VGA时序同步、HDMI视频输出等操作后,通过板载的HDMI接口输出显示器;

工程源码2:Xilinx Kintex7-325T FPGA 解码板载的P3口和P4口的两路索尼 IMX327 MIPI相机视频,然后将两路视频分别复制为2路,这样就得到了4路视频,但真是输入的视频只有两路,另外两路是复制得到的;IMX327 被配置为 4 Lane RAW12 1080P分辨率;经FPGA解码、ISP图像处理、图像缩放、图像缓存、4路视频拼接、VGA时序同步、HDMI视频输出等操作后,通过板载的HDMI接口输出显示器;

工程源码3:Xilinx Kintex7-325T FPGA 解码板载的P3口和P4口的两路索尼 IMX327 MIPI相机视频,然后将两路视频分别复制为4路,这样就得到了8路视频,但真是输入的视频只有两路,另外6路是复制得到的;IMX327 被配置为 4 Lane RAW12 1080P分辨率;经FPGA解码、ISP图像处理、图像缩放、图像缓存、8路视频拼接、VGA时序同步、HDMI视频输出等操作后,通过板载的HDMI接口输出显示器;

本文详细描述了Xilinx的Kintex7-325T FPGA开发板解码索尼IMX327 MIPI相机+图像缩放+视频拼接+HDMI输出设计方案,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

本博主所有FPGA工程项目–>汇总目录

其实一直有朋友反馈,说我的博客文章太多了,乱花渐欲迷人,自己看得一头雾水,不方便快速定位找到自己想要的项目,所以写了一篇汇总目录的博文并置顶,列出我目前已有的所有项目,并给出总目录,每个项目的文章链接,当然,本博文实时更新。。。博客链接如下:
点击直接前往

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案,主要是MIPI解码的,既有纯vhdl实现的MIPI解码,也有调用Xilinx官方IP实现的MIPI解码,既有2line的MIPI解码,也有4line的MIPI解码,既有4K分辨率的MIPI解码,也有小到720P分辨率的MIPI解码,既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码,还有基于Lattice平台FPGA的MIPI解码,后续还将继续推出更过国产FPGA的MIPI解码方案,毕竟目前国产化方案才是未来主流,后续也将推出更多MIPI编码的DSI方案,努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此,我专门建了一个MIPI编解码的专栏,并将MIPI编解码的博客都放到了专栏里整理,对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看,专栏地址如下:
点击直接前往专栏

3、本 MIPI CSI-RX IP 介绍

本设计采用本博自研的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX功能,输出AXI4-Stream格式的RAW12颜色视频,该IP由本博免费提供;该IP目前只适用于Xilinx A7及其以上系列器件,支持的 4 lane RAW12图像,输入分辨率最高支持4K @30帧;IP UI配置界面如下:
在这里插入图片描述
该自定义IP只提供网表不提供源码,但用户依然可以自由使用,和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样,没有本质区别,因为MIPI CSI-2 RX Subsystem也是看不到源码的;MIPI CSI-RX IP资源消耗如下:
在这里插入图片描述

4、个人 FPGA高端图像处理开发板简介

本博客提供的工程源码需配合本博提供的FPGA高端图像处理开发板才能使用,亦或者读者自己拿去移植,但本博推荐使用本博客提供的工程源码需配合本博提供的FPGA高端图像处理开发板,该开发板截图如下:
在这里插入图片描述
此开发板专为高端FPGA图像处理设计,适合公司项目研发、研究所项目预研、高校项目开发、个人学习进步等场景需求,本博之前专门写过一篇博文详细介绍了该开发板的情况,感兴趣的请移步那篇博文,博客地址如下:
点击直接前往

5、详细设计方案

设计原理框图

4套工程源码的设计原理框图如下:
在这里插入图片描述

IMX327 及其配置

本设计使用本博提供的专用SONY公司的 IMX327 MIPI相机,该相机输出分辨率达到了1920x1080,采用焦距可调的镜头,清晰度极高,适用于高端项目开发,相机截图如下:
在这里插入图片描述
IMX327 MIPI相机需要 i2c配置才能正确使用,本设计调用本博自定义的i2c主机IP实现对IMX327的配置,该IP挂载与AXI-Lite总线上,通过MicroBlaze软核运行的C语言代码实现配置,此外,本博还设计了自动曝光程序,实时读取IMX327 RAW12像素,通过写IMX327对应寄存器的方式实现实时的自动曝光算法,使得IMX327在暗黑的环境下也能输出明亮的图像;

本博提供的FPGA开发板有两个MIPI CSI-RX接口,分别位于P3、P4接口,因此可以接两个MIPI相机,其中,P4接口的相机采用螺丝固定方式连接,适用于FPGA开发板需要移动的项目,如小车等;P3接口的相机采用FPC软排线方式连接,适用于FPGA开发板不需要移动的项目,如固定检测等,具体连接方式如下图:
在这里插入图片描述

MIPI CSI RX

本设计采用自定义的MIPI CSI RX解码IP实现MIPI的D_PHY+CSI_RX功能,输出AXI4-Stream格式的RAW12颜色视频,该IP由本博免费提供;该IP目前只适用于Xilinx A7及其以上系列器件,支持的 4 lane RAW12图像,输入分辨率最高支持4K @30帧;IP UI配置界面如下:
在这里插入图片描述
该自定义IP只提供网表不提供源码,但用户依然可以自由使用,和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一样,没有本质区别,因为MIPI CSI-2 RX Subsystem也是看不到源码的;

图像 ISP 处理

本博提供及其完整的图像ISP,具体流程包括Bayer转RGB888、自动白平衡、色彩校正、伽马校正、RGB888转YCrCb444、图像增强、YCrCb444转RGB888、AE自动曝光等一系列操作;经过ISP处理后的图像颜色饱满、画质清晰,输出YCrCb422格式的视频;图像 ISP 处理在工程 Block Design中如图:
在这里插入图片描述
这些IP均为Xilinx的免费IP,有的需要配置才能使用,在MicroBlaze软核运行的C语言代码已经提供了配置程序;其中AE自动曝光采用SDK C语言AE算法实现,FPGA实时读取IMX327的亮度值,然后与AE模型进行比较,亮度不足则补光,亮度太高则降光,通过控制IMX327内部寄存器实现,C代码需要在MicroBlaze软核运行;

自研HLS图像缩放详解

工程图像缩放采用HLS方案C++代码实现,并综合成RTL后封装为IP,可在vivado中调用该IP,关于这个方案详情,请参考我之前的博客,博客链接如下:
点击直接前往
该IP在vivado中的综合资源占用情况如下:
在这里插入图片描述
HLS图像缩放需要在SDK中运行驱动和用户程序才能正常工作,我在工程中给出了C语言程序,具体参考工程源码;

Video Mixer多路视频拼接

采用Xilinx官方的Video Mixer IP核实现多路视频拼接,Video Mixer最多只能实现16路视频拼接,以工程1的2路视频拼接为例,Video Mixer的资源消耗截图如下:
在这里插入图片描述
Video Mixer IP核UI配置界面如下:
在这里插入图片描述
Video Mixer需要在SDK中运行驱动和用户程序才能正常工作,我在工程中给出了C语言程序,具体参考工程源码;

图像缓存

工程使用VDMA图像缓存方案,VDMA架构使用Xilinx官方力推的VDMA图像缓存架构实现图像3帧缓存,VDMA图像缓存架构由Video In to AXI4-Stream、VDMA、Video Timing Controller、AXI4-Stream To Video Out构成;其在Block Design中如下:
在这里插入图片描述
VDMA需要驱动才能正常工作,本工程提供C语言驱动;

HDMI输出

HDMI输出架构由VGA时序和HDMI输出模块构成,VGA时序负责产生输出的1920x1080@60Hz的时序,并控制FDMA数据读出,HDMI输出模块负责将VGA的RGB视频转换为差分的TMDS视频,代码架构如下:
在这里插入图片描述
HDMI输出模块采用verilog代码手写,可以用于FPGA的HDMI发送应用,关于这个模块,请参考我之前的博客,博客地址:点击直接前往

工程源码架构

工程源码的vivado Block Design设计截图如下,以工程1为例,其他工程与之类似:
在这里插入图片描述
工程源码截图如下,以工程1为例,其他工程与之类似:
在这里插入图片描述
工程源码需要运行MicroBlaze软核,用于配置ISP、VDMA、图像缩放、Video Mixer等;SDK工程架构如下,以工程1为例,其他工程与之类似:
在这里插入图片描述

时序约束

由于本工程使用的时钟较多,有MIPI输入的差分时钟,有MIG使用的差分时钟,有MIPI相机使用的像素时钟,有HDMI模块使用的差分时钟,所以必须做时序分组约束,在代码的XDC文件里已经做好;此外,由于MIG输出的用户时钟达到了200M,所以整个系统的时钟太高,又加之整个工程使用的AXI总线较多,就导致时序很不收敛,所以我们将MIPI解码输出的时钟控制在100M,这样一来,图像从MIPI解码到VDMA之间时钟保持在100M的较低频率下,而软核控制的AXI总线系统依然跑200M,所以时序就收敛很多;如果不做上述时序约束,会导致MicroBlaze软核程序直接跑飞,整个系统无法运行吗,甚至在SDK里都无法进入DEBUG;

6、工程源码1详解–>IMX327解码+2路图像缩放拼接+HDMI输出

开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:IMX327 MIPI相机,4 Lane,分辨率1920x1080@60Hz;
输出:HDMI,1080P分辨率下的960x540的2路视频拼接2分屏显示;
缩放方案:HLS图像缩放方案;
输入输出缩放:输入1920x1080–>输出960x540;
视频拼接方案:Video Mixer 2路视频拼接;
图像缓存方案:VDMA方案;
图像缓存路径:DDR3;
工程作用:此工程目的是让读者掌握FPGA实现IMX327相机MIPI解码+2路图像缩放拼接+转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第5章节《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

7、工程源码2详解–>IMX327解码+4路图像缩放拼接+HDMI输出

开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:IMX327 MIPI相机,4 Lane,分辨率1920x1080@60Hz;
输出:HDMI,1080P分辨率下的960x540的4路视频拼接4分屏显示;
缩放方案:HLS图像缩放方案;
输入输出缩放:输入1920x1080–>输出960x540;
视频拼接方案:Video Mixer 4路视频拼接;
图像缓存方案:VDMA方案;
图像缓存路径:DDR3;
工程作用:此工程目的是让读者掌握FPGA实现IMX327相机MIPI解码+4路图像缩放拼接+转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第5章节《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

8、工程源码3详解–>IMX327解码+8路图像缩放拼接+HDMI输出

开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg676-2;
开发环境:Vivado2019.1;
输入:IMX327 MIPI相机,4 Lane,分辨率1920x1080@60Hz;
输出:HDMI,1080P分辨率下的480x540的8路视频拼接8分屏显示;
缩放方案:HLS图像缩放方案;
输入输出缩放:输入1920x1080–>输出480x540;
视频拼接方案:Video Mixer 8路视频拼接;
图像缓存方案:VDMA方案;
图像缓存路径:DDR3;
工程作用:此工程目的是让读者掌握FPGA实现IMX327相机MIPI解码+8路图像缩放拼接+转HDMI的设计能力,以便能够移植和设计自己的项目;
工程Block Design和工程代码架构请参考第5章节《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

9、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
在这里插入图片描述
3:如果你的vivado版本高于本工程vivado版本,解决如下:
在这里插入图片描述
打开工程后会发现IP都被锁住了,如下:
在这里插入图片描述
此时需要升级IP,操作如下:
在这里插入图片描述
在这里插入图片描述

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

10、上板调试验证

准备工作

需要准备的器材如下:
本博提供的FPGA开发板;
本博提供的IMX327 MIPI相机;
HDMI显示器;
我的开发板了连接如下:
在这里插入图片描述

2路视频缩放拼接–>输出演示

IMX327-2路缩放拼接

4路视频缩放拼接–>输出演示

IMX327-4路缩放拼接

8路视频缩放拼接–>输出演示

IMX327-8路缩放拼接

11、福利:工程代码的获取

福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/587665.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Redis】NoSQL之Redis的配置和优化

关系型数据库与非关系型数据库 关系型数据库 关系型数据库是一个结构化的数据库,创建在关系型模型(二维表)的基础上;一般面向于记录; SQL语句(标准数据查询语句)就是一种基于关系型数据库的语言,用于执行…

ES8 学习 -- async 和 await / 对象方法扩展 / 字符串填充

文章目录 1. async 和 await1.1 基本语法1.2 使用示例1.3 案例练习 2. 对象方法扩展2.1 Object.values(obj)2.2 Object.entries(obj)2.3 Object.getOwnPropertyDescriptors(obj)使用示例 3. 字符串填充4. 函数参数的末尾加逗号 1. async 和 await async 函数,使得异…

【前端面试3+1】09 ES6新特性、Promise原理 、浏览器从输入到页面渲染的过程、【罗马数字转整数】

一、ES6新特性 ES6(ECMAScript 2015)是JavaScript的一个重要更新版本,引入了许多新特性和语法改进,下面详细说明一些主要的新特性: 1. let 和 const 声明: 使用let和const关键字可以声明块级作用域的变量&a…

设计模式之代理模式解析(上)

代理模式 1)概述 1.定义 给某一个对象提供一个代理或占位符,并由代理对象来控制对原对象的访问。 2.作用 当无法直接访问某个对象或访问某个对象存在困难时可以通过一个代理对象来间接访问,为了保证客户端使用的透明性,所访问…

续-开发组件更新-提效工具分享

前言 小一个月没更新了,有各种各样的事啦,这一篇有点水吧。围绕两方面,开发组件更新以及IDEA插件的分享,题目和我一样水,有点像是日本轻小说取名了,整这么长。本篇的触动来源于,我今天偶然发现…

FPGA + 图像处理 (二) RGB转YUV色域、转灰度图及仿真

前言 具体关于色域的知识就不细说了,简单来讲YUV中Y通道可以理解为就是图像的灰度图,因此,将RGB转化为YUV是求彩色图的灰度直方图、进行二值化操作等的基础。 HDMI时序生成模块 这里先介绍一下仿真时用于生成HDMI时序,用这个时…

ArcGIS Pro打不开Excel?Microsoft驱动程序安装不上?

刚用ArcGIS pro的朋友们可能经常在打开xls或者xlsx文件的时候都会提示,未安装所需的Microsoft驱动程序。 怎么办呢?当然,按照提示装一下驱动就会好吗?有什么状况会出现?有什么临时替代方案呢? 全文目录&a…

Python读取Excel根据每行信息生成一个PDF——并自定义添加文本,可用于制作准考证

文章目录 有点小bug的:最终代码(无换行):有换行最终代码无bug根据Excel自动生成PDF,目录结构如上 有点小bug的: # coding=utf-8 import pandas as pd from reportlab.pdfgen import canvas from reportlab.lib.pagesizes import letter from reportlab.pdfbase import pdf…

在flutter中添加video_player【视频播放插件】

添加插件依赖 dependencies:video_player: ^2.8.3插件的用途 在Flutter框架中,video_player 插件是一个专门用于播放视频的插件。它允许开发者在Flutter应用中嵌入视频播放器,并提供了一系列功能来控制和定制视频播放体验。这个插件对于需要在应用中展…

LeetCode 19.删除链表的倒数第N个结点

给你一个链表,删除链表的倒数第 n 个结点,并且返回链表的头结点。 示例 1: 输入:head [1,2,3,4,5], n 2 输出:[1,2,3,5] 示例 2: 输入:head [1], n 1 输出:[] 示例 3&#x…

STM32F4系列单片机的定时器讲解和计数器,PWM信号输出,PWM信号捕获的实现对电机进行控制和监测功能

1.定时器功能介绍: 在控制领域里面,我们可以用信号输出定时器,进行PWM的控制,从而达到控制电机的目的,通过输入捕获功能可以用来接收外部的数字信号,用于测量脉冲宽度、频率或周期等。在这里给大家介绍下&…

备考ICA----Istio实验15---开启 mTLS 自动双向认证实验

备考ICA----Istio实验15—开启mTLS自动双向认证实验 在某些生成环境下,我们希望微服务和微服务之间使用加密通讯方式来确保不被中间人代理. 默认情况下Istio 使用 PERMISSIVE模式配置目标工作负载,PERMISSIVE模式时,服务可以使用明文通讯.为了只允许双向 TLS 流量,…