ADAS感知摄像头的分辨率与帧率选择分析

说明:可以作为对智能驾驶爱好者对摄像头参数理解或者从业工程人员对设计硬件选型参考

前言

在当前智能驾驶中,基于摄像头的 ADAS 因其应用、更高的可靠性和对新要求的适应性而被广泛采用。

ADAS 摄像头通常部署在汽车的前部、侧面和后部,提供驾驶和停车辅助。

前置摄像头系统最常安装在汽车的前部,后视镜后面。

后置摄像头安装在靠近车牌的后侧,而侧面摄像头安装在汽车两侧靠近镜子的位置

《了解布置位置可以点击视觉为王-小鹏以及特斯拉的自动驾驶方案》。
本文介绍了汽车摄像头系统的分辨率(以 Mpixel 为单位)和帧速率 (fps) 选择的见解,重点是单
目前置摄像头,当然也可以用于后/侧摄像头选择参考。
ADAS 前置摄像头 (FC) 系统从现实世界中捕获并识别感兴趣的对象(例如行人、汽车和两轮车)。
如 下 图 所 示 , ADAS FC 系 统 由 摄 像 头 模 块 ( 镜 头 和 传 感 器 ) 组 成 , 用 于 将 场 景 捕 获 为 一 系 列 图 像(即视频),然后在嵌入式处理器芯片上进行分析以识别感兴趣的对象。

ADAS 前视视像头的关键功能是识别感兴趣的对象以及与汽车的距离,并在正确的时间应用紧急休
息以避免碰撞。

这些目标必须在给定解决方案的高精度检测、低成本、低功耗和小尺寸的严格限制下
实现。

该解决方案必须能够在夜间或弱光驾驶等不同场景下工作。
整体解决方案中的三个参与者相互交互以实现 ADAS 系统的目标

1. 现实世界:

这包括汽车和可能成为潜在事故目标的感兴趣对象(例如行人、车辆、两轮车等)。
2. 摄 像 头 模 块 :

由 镜 头 和 传 感 器 组 件 组 成 。 它 以 固 定 间 隔 (fps) 将 现 实 世 界 捕 获 为 图 像 像 素 ( 分 辨率)。
3. 算法:

它通常会找到感兴趣的对象(例如行人)并在可能的碰撞情况下提醒驾驶员。由于行人目标
可 能 存 在 于 未 知 距 离 , 它 通 常 在 一 系 列 具 有 固 定 行 人 模 型 尺 寸 ( 例 如 64×32 像 素 ) 的 缩 小 图 像(称为图像金字塔)中搜索给定的行人。使用属性(称为从像素中提取的特征)而不是实际像素来执 行 搜 索 , 以 获 得 更 好 的 鲁 棒 性 。 一 旦 找 到 匹 配 的 行 人 , 就 会 计 算 到 行 人 的 距 离 和 碰 撞 时 间(TTC)。

这些算法属于计算机视觉 (CV) 和机器学习 (ML) 领域,并在嵌入式 SoC(片上系统)上运行。

下图显示了三个参与者以及实现 ADAS 系统目标的各种参数

1. 揭秘分辨率

通常,成像传感器的 Mpixel (MP) 决定了可以检测和识别给定对象的最远距离。下图显示了多种配
置下与行人的距离与 Mpixel 的典型关系

上图中的曲线假设现实世界中行人的高度为 1.5m,图像传感器的物理尺寸为 1/3”(标准OF值计算
方 法 是 其 实 际 对 角 线 长 度 1/3 英 寸 大 概 就 是 6mm ) 。

基 本 配 置 对 应 于 给 定 镜 头 的 450 FOV ( 视场)和行人高度,在捕获的图像中为 64 像素。如图 3 所示,1MP 到行人的最大距离为 34 m,8MP 增加到 101m。

对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较长时间内达到 8 MP。

MP 增加到 101m。对于汽车图像传感器,目前使用 1 MP,在不久的将来会增加到 2 MP,并在较
长时间内达到 8 MP。


表 I 总结了增加 Mpixel(0.3 MP 到 8 MP)和最远行人距离(24m 到 101m)的影响以及假设
和可能的权衡。随着分辨率的提高,它带来了下一组问题,例如低光性能差和计算/功率要求高。
对于给定的分辨率(例如 2MP),有多种方法可以增加最远行人距离,

总结如下
1. 在图像金字塔搜索过程中使用较小尺寸的行人模型:

这导致距离增加 2 倍(51m 到 101m),因为模型尺寸减少了 2 倍(第 4 行)。

通常,较小尺寸的行人模型会降低检测的准确性,并产生更多的误报。


2. 使用更小的模型尺寸和复杂的特征:

这会导致更高的距离和相似的检测精度(第 5 行)。

与从行人中 提 取 的 传 统 特 征 ( 例 如 Haar 、 HoG ) 相 比 , 复 杂 的 特 征 ( 例 如 Co-Hog 、 卷 积 神 经 网 络 -CNN)需要更高的计算能力(以及成本)。


3. 使用窄 FOV(即更高的焦距):

这意味着在现实世界中跨越较低的正面区域,从而产生更高的距离(51m 到 59m)(第 6 行)。在 FOV 的极端减少(例如,达到 250 FOV)将导致需要额外的传
感器来覆盖类似的正面区域。

在更高 MP(例如 8MP)的情况下,一种可能的折衷方案是使用更宽的 FOV 镜头来覆盖前方和交
叉路口。这消除了额外的传感器,从而降低了成本(第 10 行)。

2. 揭秘fps

通常,成像传感器的帧率决定了避免物体碰撞的最大停止距离。

下图显示了汽车的停车距离与停车距离的典型关系。

汽车速度的多种配置的帧速率

停车距离是在应用中断之前检测行人期间覆盖的距离和在中断期间覆盖的距离的相加。

图的假设是行人检测期间的七帧延迟,其中包括大约三帧的处理延迟和大约四帧的跟踪延迟,以提高检测质量。

另一 个 假 设 是 根 据 英 国 公 路 法 规 打 破 距 离 。

如 上 图 所 示 , 假 设 汽 车 速 度 为 80 Km/Hr , 停 车 距 离 从55m 减 少 到 45m , 因 为 帧 速 率 从 10fps 到 15fps ( 文 章 写 的 时 候 ) 再 到 30fps ( 现 在 基 本 都 在
30fps)。

表二显示了增加车速(30Km/Hr 到 250Km/Hr)和对停车距离(8m 到 390m)的影响以及各种
参数和假设。
对于给定的汽车速度(例如 80 Km/Hr),有多种方法可以减少刹车距离,如下所示。
1. 使 用 更 高 的 帧 速 率 :

随 着 帧 速 率 的 增 加 ( 10 到 30 fps ) , 这 会 降 低 延 迟 ( 750 毫 秒 到 284 毫
秒)。这也提高了对象(例如行人)跟踪的性能,但代价是更高的处理能力(第 4 行和第 5 行)。
2. 使用基于流和切片的架构:

这减少了延迟(750 毫秒到 210 毫秒),因为跨多个子组件的通信以较
小的粒度发生,例如行/子图片(第 6 行)。

这种复杂的系统需要更多的时间来开发,并且可能存在算法框架级别的依赖挑战。

3. 其它挑战


所以其实我们当前看到国内很多智能驾驶的方案都还在堆料阶段,而汽车行业其实本质是应用产业,用最优的成本达到可以拓展升级的配置才是最优的方案。

这些就值得我们主机厂产业应用人士思考的核心竞争力。
参考文章以及图片:
1. 原文-ADAS Front Camera: Demystifying Resolution and Frame-Rate - EE TIMES
2. 摄像头以及图像技术基础 pdf - Jon Chouinard pdf可下载

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/452444.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【代码随想录-哈希表】有效的字母异位词

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…

爬什么值得买的榜单——爬虫练习题目一(问)

爬虫题目你敢试试吗? 引言具体原因网站思路总体 我让AI给个框架1. **项目初始化与依赖安装**2. **定义数据模型**3. **网络请求模块**4. **页面解析模块**5. **数据存储模块**6. **主程序流程** 结尾 引言 最近在做什么呢 建立一套完整的信息输入输出系统 在我上一…

Flutter canvas 画一条会动的波浪线 进度条

之前用 Flutter Canvas 画过一个三角三角形,html 的 Canvas 也画过一次类似的, 今天用 Flutter Canvas 试了下 感觉差不多: html 版本 大致效果如下: 思路和 html 实现的类似: 也就是找出点的位置,使用二阶…

图论练习3

内容:过程中视条件改变边权,利用树状数组区间加处理 卯酉东海道 题目链接 题目大意 个点,条有向边,每条边有颜色和费用总共有种颜色若当前颜色与要走的边颜色相同,则花费为若当前颜色与要走的边颜色不同,…

一篇文章了解区分指针数组,数组指针,函数指针,链表。

最近在学习指针,发现指针有这许多的知识,其中的奥妙还很多,需要学习的也很多,今天那我就将标题中的有关指针知识,即指针数组,数组指针,函数指针,给捋清楚这些知识点,区分…

你所不知道的关于库函数和系统调用的那些事

系统调用和库函数的区别 相信大家在面试或者刷面试题的时候经常能看到这样的问题,“简述一下系统调用和库函数的区别”。 系统调用是操作系统提供给用户的接口,能让用户空间的程序有入口访问内核。而库函数数一组标准函数,比如复合 POSIX 或…

机器翻译后的美赛论文怎么润色

美赛论文的语言表达一直是组委会看重的点,清晰的思路和地道的语言在评审中是重要的加分项。 今天我们就来讲讲美赛论文的语言问题。 我相信有相当一部分队伍在打美赛的时候,出于效率的考量,都会选择先写中文论文,再机翻成英文。 …

基于JAVA的宠物管理系统

技术架构: Servlet JSP MySQL 有需要该项目的小伙伴可以私信我你的Q。 功能介绍: 系统主要分为前台和后台两大模块 前台主要由用户体验使用: 用户登录 注册 查找商品 商品类别等功能导航; 后台…

vulhub靶机activemq环境下的CVE-2015-5254(ActiveMQ 反序列化漏洞)

影响范围 Apache ActiveMQ 5.x ~ Apache ActiveMQ 5.13.0 远程攻击者可以制作一个特殊的序列化 Java 消息服务 (JMS) ObjectMessage 对象,利用该漏洞执行任意代码。 漏洞搭建 没有特殊要求,请看 (3条消息) vulhub搭建方法_himobrinehacken的博客-CSD…

移动WEB开发之rem布局

1,rem基础 rem是一个相对单位,类似于em,em是父元素字体大小 不同的是rem的基准是相对于html元素的字体大小 rem的优点就是可以通过修改html里面的文字大小来改变页面中元素的大小,可以整体控制 html{font-size: 14px; } div{w…

自动化测试报告生成【Allure】

之前尝试使用过testNG自带的测试报告、优化过reportNG的测试报告,对这两个报告都不能满意。后经查找资料,发现有个神器: Allure(已经有allure2了,笔者使用的就是allure2),生成的测试报告与上述…

笔记---容斥原理

AcWing,890.能被整除的数 给定一个整数 n n n 和 m m m 个不同的质数 p 1 , p 2 , … , p m p_{1},p_{2},…,p_{m} p1​,p2​,…,pm​。 请你求出 1 ∼ n 1∼n 1∼n 中能被 p 1 , p 2 , … , p m p_{1},p_{2},…,p_{m} p1​,p2​,…,pm​ 中的至少一个数整除的整数有多少…