FPGA实现ISP用于无人车、无人机配送的方案调研

查到一个always 奥唯思公司做的用FPGA实现ISP的方案,采用易灵思钛金16nm的FPGA Ti60F225,通过MIPI CSI RX采集图像传感器的数据,在FPGA内部经过一系列复杂的ISP运算后,再通过MIPI CSI TX将图像数据发送给后端
在这里插入图片描述

一套完整的ISP,在这个方案里有15个环节,见上图最大的红框,具体的环节介绍见下表。
在这里插入图片描述

这个方案选择FPGA而没有选择ASIC,有以下几点考虑:

·针对选定的Sensor,虽然后续是要接到NVIDIA的平台,貌似NVIDIA的ISP ASIC芯片是方便的,但实际上用仍需要大量的调试工作,不见得比FPGA的工作量小; ·NVIDIA的ISP不支持8bit RAW输入模式; ·部分应用工程师,并不熟悉ISP领域; ·部分ISP算法,NVIDIA并没有包含; ·低延时的需求,需要流水线完成ISP。 综合起来是性价比和兼容性的问题

大概查了一下这个公司,深圳奥唯思科技,2021年成立,专注于摄像头采集、显示方案开发,以及FPGA硬件算法加速。有不少FPGA开发板和CMOS模组、USB工业相机的方案,很值得学习参考。

另外对于应用场景做了一些调研:
相机视频的最终目的是接到NVIDIA的Jetson平台,该平台是NVIDIA为新一代自主机器设计的的嵌入式系统, 是一个AI平台。
它可以支持需要各种性能级别和价格的大量应用场合,例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)。
Jetson简单来讲就是一台电脑(看NVIDIA网站的介绍图,就是一个板卡),只不过这台电脑可以直接跑AI的程序,NVIDIA根据需要的不同做个多个版本。
用在类似送货机器人这样的产品上,商用落地的有京东的配送用产品,应该就可以实现这些送货机器人(无人车)、无人机等在路上、轨迹上安全驾驶,自动识别路程和障碍物,真是挺先进的技术呢,向着未来全面无人驾驶的方向落地的产品

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/467934.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

探索机器学习:定义、算法及应用领域

目录 前言1 机器学习的定义2 机器学习算法2.1 监督学习2.2 无监督学习2.3 强化学习 3 机器学习的应用3.1 智能搜索3.2 医疗诊断3.3 无人驾驶 结语 前言 机器学习,源自Arthur Samuel的定义,赋予计算机通过领域学习的能力,使其在不需要明确程序…

Javaweb之SpringBootWeb案例之propagation属性案例演示的详细解析

案例 接下来我们就通过一个案例来演示下事务传播行为propagation属性的使用。 需求:解散部门时需要记录操作日志 由于解散部门是一个非常重要而且非常危险的操作,所以在业务当中要求每一次执行解散部门的操作都需要留下痕迹,就是要记录操作…

2024beginCTF-Crypto 复现

fake_N 题目: from Crypto.Util.number import * from secret import flagdef fakeN_list():puzzle_list []for i in range(15):r getPrime(32)puzzle_list.append(r)p getPrime(32)q getPrime(32)com p*qpuzzle_list.append(com)return puzzle_listdef encr…

洛谷数组P1319压缩技术

做题思路: 这里表示输入的第一个数字N为N*N的方阵,后面的数字表示连续输入几个1或者0,定义result表示实际输出的数字0或1(result输出0或1,可以用绝对值abs我们初始化result为0,我们将它-1后再取绝对值就可以…

C++ //练习 6.23 参考本节介绍的几个print函数,根据理解编写你自己的版本。依次调用每个函数使其输入下面定义的i和j

C Primer(第5版) 练习 6.23 练习 6.23 参考本节介绍的几个print函数,根据理解编写你自己的版本。依次调用每个函数使其输入下面定义的i和j: int i 0, j[2] {0, 1};环境:Linux Ubuntu(云服务器&#xff…

RK3588平台开发系列讲解(视频篇)RKMedia 数据流向

文章目录 一、 获取RKMedia模块通道中的数据二、RKMedia的数据源和接收者三、模块通道绑定API调用 沉淀、分享、成长,让自己和他人都能有所收获!😄 📢RKMedia是RK提供的一种多媒体处理方案,可实现音视频捕获、音视频输…

LeetCode二叉树的垂序遍历

题目描述 给你二叉树的根结点 root ,请你设计算法计算二叉树的 垂序遍历 序列。 对位于 (row, col) 的每个结点而言,其左右子结点分别位于 (row 1, col - 1) 和 (row 1, col 1) 。树的根结点位于 (0, 0) 。 二叉树的 垂序遍历 从最左边的列开始直到…

python 经典老人言

python 经典老人言 import tkinter as tkclass FlipBook:def __init__(self, master):self.master master master.title("经 典 老 人 言")self.pages ["经 典 老 人 言","求学无笨者,努力就成功","读 书 百 遍&am…

Golang中的fmt包:格式化输入输出的利器

Golang中的fmt包:格式化输入输出的利器 在软件开发的世界里,fmt包就像是一位忠实的伙伴,始终陪伴着开发人员。它简化了格式化输入输出的过程,让打印和扫描数据变得轻松自如。无论是向控制台输出简单的消息,还是处理复杂…

LeetCode、1143. 最长公共子序列【中等,二维DP】

文章目录 前言LeetCode、1143. 最长公共子序列【中等,二维DP】题目链接与分类思路2022年暑假学习思路及题解二维DP解决 资料获取 前言 博主介绍:✌目前全网粉丝2W,csdn博客专家、Java领域优质创作者,博客之星、阿里云平台优质作者…

Python学习之路-爬虫提高:scrapy基础

Python学习之路-爬虫提高:scrapy基础 为什么要学习scrapy 通过前面的学习,我们已经能够解决90%的爬虫问题了,那么scrapy是为了解决剩下的10%的问题么,不是,scrapy框架能够让我们的爬虫效率更高 什么是scrapy Scrapy是一个为了…

npm报错之package-lock.json found. 问题和淘宝镜像源过期问题

1、package-lock.json found. 问题的解决 在执行yarn add react-transition-group -S 安装react-transition-group时出现package-lock.json found. Your project contains lock files generated by tools other than Yarn. It is advised not to mix package managers in orde…