[4K80 AI ISP IPC芯片]-编程知识

4K80 AI ISP IPC芯片

Hi3403V100是一颗面向监控市场推出的专业 Ultra-HD Smart IP Camera SOC，该芯片最高支持四路sensor输入，支持最高4K60的ISP图像处理能力，支持3F WDR加粗样式、多级降噪、六轴防抖、硬件拼接等多种图像增强和处理算法，为用户提供了卓越的图像处理能力。Hi3403V100内置四核A55，提供高效且丰富和灵活的CPU资源，以满足客户计算和控制需求。集成单核MCU，以满足某些低延时要求较高场景。Hi3403V100集成了高效的神经网络推理单元，最高10TOPS INT8，并支持业界主流的神经网络框架。并内置双核Vision DSP，以满足客户一些差异化的CV计算需求。Hi3403V100采用采用先进低功耗工艺和封装，同时支持 LPDDR4/LPDDR4x/DDR4颗粒，满足客户应用的产品小型化设计和快速量产。Hi3403V100配套上海海思提供的稳定、易用的SDK设计，SS928V100 SDK包能够支撑客户快速产品量产。

关键特性

一、处理器内核
• 四核 ARM Cortex A55@1.4GHz

32KB I-Cache，32KB D-Cache /512KB L3 cache
支持Neon加速，集成FPU处理单元
• 内置 32bit MCU@500MHz
32KB I-Cache，32KB D-Cache /64KB TCM
• 支持 TrustZone

二、智能视频分析
• 图像分析加速引擎，高达 10.4Tops@INT8 算力

双内核异构引擎
引擎1 支持4.8Tops算力，支持INT4/INT8/FP16
引擎2 支持5.6Tops算力，支持INT8/INT16
支持完整的API和工具链，易于客户开发
• 支持 TrustZone
支持USB3.0和PCIe2.0高速接口。
• 双核 Vision Q6 DSP
32K I-Cache /32K D-Cache /32K IRAM/320K DRAM
• 内置智能计算加速引擎
• 内置双目深度加速单元
• 内置矩阵计算加速单元

三、视频编解码
• H.264 BP/MP/HP
• H.265 Main Profile
• H.264/H.265 编解码最大分辨率为 8192 x 8192
• H.264/H.265 编码支持 I/P 帧
• H.264/H.265 多码流编码能力：

3840 x 2160@60fps + 1280x720@30fps
7680 x 4320@15fps
• H.264/H.265/MPEG-4 多码流解码能力：
3840 x 2160@60fps + 1920x1080@60fps
• 支持最多 8 个区域的编码前 OSD 叠加
• 支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式
• 输出码率最大值 160Mbps
• 支持 8 个感兴趣区域（ROI）编码
• 支持 JPEG Baseline 编解码
• JPEG 编解码最大分辨率 16384x16384
• JPEG 最大性能
编码：3840 x 2160@60fps (YUV420)
解码：3840 x 2160@75fps (YUV420)

四、视频输入接口
• 支持 8-Lane image sensor 串行输入，支持MIPI/LVDS/Sub-LVDS/HiSPi 多种接口
• 支持 2x4-Lane 或 4x2-Lane 等多种组合，最高支持 4 路 sensor 串行输入
• 最大分辨率 8192 x 8192
• 支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入，时钟频率最高 150MHz
• 支持 BT.601、BT.656、BT.1120 视频输入接口
• 支持主流 CMOS 电平热成像传感器

五、数字图像处理 ISP
• ISP 支持分时复用处理多路 sensor 输入视频
• 支持 3A（AE/AWB/AF）功能，3A 的控制用户可调节
• 支持去固定模式噪声（FPN）
• 支持坏点校正、镜头阴影校正；
• 最高支持三帧 WDR 及 Advanced Local Tone Mapping
• 支持多级 3D 去噪、图像边缘增强、去雾、动态对比度增强等处理功能
• 支持 3D-LUT 色彩调节
• 支持镜头畸变校正，支持鱼眼矫正
• 支持 6-DoF 数字防抖及 Rolling-Shutter 校正
• 支持图像 Mirror、Flip、90 度/270 度旋转
• 提供 PC 端 ISP 调节工具
• 支持超感光去噪（HNR）

六、视频与图形处理
• 支持图形和图像 1/15.5～16x 缩放功能
• 支持多达 4 路视频全景拼接

输入2路3840x2160，输出4320x3840
输入4路2688x1520，输出6080x2688
• 支持视频层、图形层叠加
• 支持色彩空间转换

七、视频输出
• 支持 HDMI2.0 接口输出
• 支持 4-Lane Mipi DSI/CSI 接口输出，最高 2.5Gbps/lane
• 内置模拟标清 CVBS 输出
• 支持 8/16/24 bit RGB、BT.656、BT.1120 等数字接口
• 同时支持 2 个独立高清视频输出

支持任意两种接口非同源输出
其中一路可支持PIP(Picture In Picture)
• 最大输出能力 4096x2160@60fps + 1920x1080@60fps

八、音频接口与处理
• 内置 Audio codec，支持 16bit 语音输入和输出
• 支持 I2S 接口

支持多声道时分复用传输模式（TDM）
• 支持 HDMI Audio 输出
• 通过软件实现多协议语音编解码
• 支持音频 3A（AEC/ANR/ALC）处理
• 支持 G.711/G.726/AAC/等音频编码格式

九、安全隔离与引擎
• 支持安全启动
• 支持基于 TrustZone 的 REE/TEE 硬件隔离方案

硬件实现 AES 对称加密算法
• 硬件实现 RSA2048/3072/4096 签名校验算法
• 硬件实现基于 HASH 的 SHA/256/384/512、HMAC_SHA256/384/512 算法
• 硬件实现随机数发生器
• 集成 30Kbit OTP 存储空间供客户使用

十、网络接口
• 2 个千兆以太网接口

支持RGMII、RMII两种接口模式
支持TSO、UFO、COE等加速单元
支持Jumbo Frame

十一、外围接口
• 支持上电复位（POR）和外部输入复位
• 集成 4 通道 LSADC
• 多个 UART、I²C、SPI、GPIO 接口
• 2 个 SDIO3.0 接口

SDIO0支持SDXC卡，最大容量2TB
SDIO1支持对接wifi模组
• 2 个 USB3.0/USB2.0 接口
USB0 仅Host接口
USB1 Host/Device可切换
• 2-Lane PCIe2.0 高速接口
支持RC/EP模式
可配置为2-Lane PCIe2.0
可配置为1-Lane PCIe2.0 + USB3.0

十二、外部存储器接口
• DDR4/LPDDR4/LPDDR4x 接口

支持4 x 16bit DDR4
支持2 x 32bit LPDDR4/LPDDR4x
DDR4最高速率3200Mbps
LPDDR4/LPDDR4x最高速率3733Mbps
最大容量8GB
• SPI Nor/SPI Nand Flash 接口
支持1、2、4线模式
SPI Nor Flash支持3Byte、4Byte 地址模式
• NAND Flash 接口
支持SLC、MLC异步接口器件
支持2/4/8/16KB页大小
支持8/16/24/28/40/64bit ECC（以1KB为单位）
• eMMC5.1 接口，最大容量 2TB
• 可选择从 eMMC、SPI Nor/SPI Nand Flash、4NAND Flash 或 PCIe 从片启动

十三、SDK
• Arm CPU 支持 Linux SMP
• DSP/MCU 支持 LiteOS
• 最新版SDK We chat zhanggong345

十四、芯片物理规格
• 功耗