【2023研电赛】全国技术竞赛一等奖：基于FPGA的超低时延激光多媒体终端-编程知识

该作品参与极术社区组织的研电赛作品征集活动，欢迎同学们投稿，获取作品传播推广，并有丰富礼品哦~

基于FPGA的超低时延激光多媒体终端

在这里插入图片描述

参赛单位：华东师范大学
指导老师：刁盛锡
参赛队员：王泽宇谢祖炜秦子淇

作品简介

随着数字光处理技术(DLP)和液晶显示器技术(LCD)的不断发展，市场上能实现4K@60Hz超高清投影的投影机型号日渐增加，对投影仪器性能的要求也与日俱增，对投影延迟、投影亮度、投影色彩、系统可扩展性等方面提出了更高的要求。

在军用领域中，时间就是生命，美国空军的模拟器通用体系结构与标准(Simulator Common Architecture Requirements and Standards，SCARS)中规定战斗机模拟训练全任务仿真器(Full Mission Simulators, FMS)的模拟投影延时不得高于20ms；在商用领域中，时间就是金钱，金融期货与证券交易的深度行情信息最快每250ms刷新一次，对投影系统画面传输的时延要求高；在民用领域中，时间就是快乐，专业电子竞技显示仪器的视频传输时延需低于16ms。

针对军用、商用、民用三大领域对超低时延投影显示的需求，本团队完全独立自主地从硬件系统、逻辑算法以及软件代码三方面实现了基于FPGA的超低时延超高清激光多媒体终端，同时兼顾投影亮度、投影色彩和系统可扩展性。相比于市场上4K投影时延高达40ms到200ms的投影系统，本系统4K投影时延为15.8ms；能够支持的最高投影画面质量为4K@60Hz；投影画面亮度可达3500流明；画面对比度能够达到1000:1；系统支持USB3.0接口、千兆网口、万兆光口等高速接口以实现硬件扩展。

在这里插入图片描述

硬件设计

本系统的硬件设计有本团队成员使用Cadence系列软件进行EDA设计，包括原理图库设计、原理图设计、PCB封装库设计以及PCB设计。本作品的硬件系统原理图设计采用自顶向下的top design设计方法。最终完成了复杂的低延时激光多媒体终端硬件原理图设计，原理图共计58页，部分顶层设计如下图所示。
在这里插入图片描述

本作品的硬件平台为一块复杂的16层高密度激光多媒体显示终端系统板，用于实现超低时延激光投影，采用Xilinx Ultrascale+系列的XCZU7EV-FFVC1156E作为核心芯片，板上挂载了6片DDR4扩展存储资源，支持HDMI2.0与V-by-One两种视频输入接口，搭载一路数字微镜驱动接口以及一路DP1.2a视频输出接口；系统同时支持SATA大容量存储设备、USB3.0接口、MIPI D-PHY摄像头接口、千兆以太网、万兆以太网以及光学控制接口等丰富的外设资源。
在这里插入图片描述

在这里插入图片描述

低时延逻辑算法设计

分布式离散交织显示逻辑算法

显示信令控制模块是数字微镜驱动单元中的核心模块，而显示信令控制模块中最为核心的就是分布式离散交织显示算法，该算法的示意图如下图所示。该算法采用不同的LFSR随机种子优化投影显示策略，实现了视频数据更高效的显示，相较于传统的帧刷新方式，将带宽利用率提升了74.5%。
在这里插入图片描述

SARR逻辑算法

SARR(Self-Adjust-Rolling-Row)指自适应的滚动行缓存算法，该算法可极大降低了瞬时峰值数据带宽。相较于市面投影仪40~200ms量级的响应处理时延，本系统的4K投影响应延时仅为15.8ms，极大缓解了传统投影显示延时高，投影体验差的问题。基于SARR的低延时缓存策略贯穿在整个软件逻辑设计之中，并且着重在数字微镜驱动单元中的DDR4缓存单元体现，该算法的整体运行监控示意图如下图所示。
在这里插入图片描述

基于超低延时的设计需求，SARR分为了读写两个部分，写检测部分需要监控输入的视频数据流、数据预处理，颜色生成等模块的工作状态，检测写部分的整体输入速率；读检测部分需要基于写入的数据速率，控制显示信令控制的读取速度，监控DDR4存储模块的读写状态和DMD的数据吞吐速率，协调读部分的读取速率，确保读写指针维持偏差维持在4.167ms之内。并且，基于SARR可以使得软件处理部分同时兼容4K@60Hz、4K@50Hz、4K@30Hz、4K@25Hz等多种显示规格。
在这里插入图片描述

作品创新点

(1) 全方面自主设计的低时延激光显示多媒体平台系统
本作品中的硬件、逻辑以及软件均为本团队成员独立自主设计的低时延激光显示多媒体平台。该多媒体平台拥有丰富的外设资源，支持HDMI2.0与V-by-One视频输入，能够通过万兆光口与千兆网口实现板级互联实现硬件资源扩展，能够通过更换数字微镜子板以实现对不同型号数字微镜芯片的驱动，多媒体终端的可扩展性和兼容性强。

本作品使用三色激光光源实现投影，使用了基于三色激光光源的RGBYCW六色显示技术，相比较于传统DLP投影技术中使用高压汞灯投影以及单/双色激光配合色轮投影的技术而言，投影亮度更高，对比度更高，色彩饱和度更高，投影画面更加真实，对应用场合的要求更低。
(2) 独创的新型投影逻辑设计架构和分布式离散交织显示算法
本团队从MEMS底层构建驱动应用算法，通过SARR(Self-Adjust-Rolling-Row)技术，相较于市面投影仪40~200ms量级的响应处理时延，本系统的4K投影响应延时仅为15.8ms，解决了传统投影显示延时高，投影体验差的问题。
本团队在驱动算法层面，提出了一种通过分布式离散交织显示算法，采用不同的LFSR随机种子优化投影显示策略，实现了视频数据更高效的显示，极大降低了瞬时峰值数据带宽，将带宽利用率提升74.5%，抑制了伪轮廓噪声，提高了驱动算法的效果，配合多色投影组合策略，大幅提高了投影画面的灰度精度及亮度。

(3) 突破技术壁垒，推动技术创新
本作品仅使用一块FPGA就完成了对TI数字微镜芯片的驱动，相比较于TI传统的“专用驱动芯片+固件程序”驱动方案，灵活性更高，成本更低，在数字微镜驱动领域填补了我国的技术空白，对独立生产制造数字微镜器件具有指导意义。

本作品已申请4项发明专利，其中3项已通过授权。

国家发明专利《一种基于FPGA的数字微镜芯片驱动方法》，专利号：202110659960.9，已授权；
国家发明专利《一种针对数字微镜芯片的4K分辨率视频图像预处理方法》，专利号：202110617933.5，已授权；
国家发明专利《一种基于振镜的数字微镜高分辨率视频图像投影方法》，专利号：202210737653.2，已授权；
国家发明专利《一种基于数字微镜的 8K 超高清单色显示器》，申请号：2023104558872，已通过初步审查。

总结

总体而言，本团队自主设计了基于FPGA开发了超低延时激光多媒体终端系统，同步控制三色激光光源和制动器实现超低延时的超高清激光投影，可广泛应用于军用、商用、民用等领域，具有延时低、图像质量高、通用性强、应用扩展性高等优势。本作品仅使用一块FPGA就完成了对数字微镜驱动，相较于TI传统的“专用驱动芯片+固件程序”驱动方案，灵活性更高，成本更低，在数字微镜驱动领域填补了我国的技术空白，打破了TI的技术垄断，且不受其应用限制。在国产化大形势下，为各大投影厂商选择国产方案提供了可定制化的超低时延多媒体终端，应用前景良好。
在这里插入图片描述