PointBeV:A Sparse Approach to BeV Predictions

参考代码:PointBeV

动机与出发点
常见显式构建BEV特征的算法会稠密设置BEV网格,这样就会引入背景像素上的无效计算,对应内存与计算资源使用也会变大。这篇文章通过前景点筛选、由粗到精细化、窗口时序融合方式构建一种稀疏化表达的BEV特征表达。文章给出的方法自然在对应数据集下效果很好,但是在实际工程化中却需要解决如下的问题:

  • 1)前景和背景点区分在真实场景下是很难的,单纯依据阈值设置很难权衡准召
  • 2)方案中很多的操作是类似于RoI的形式,这些操作在现有的车端计算平台不是那么友好,出发点是提速实际很可能是负收益
  • 3)真实场景下内外参抖动的问题这个方案也没做针对地鲁棒性设计

但是文章的中的减少内存和计算资源开销的思想还是可以借鉴的,或许在后续的科研与工作中用到。

方法设计
文章2D到BEV的转换流程见下图所示:
在这里插入图片描述
按照上面的思路文章的方案会在2D BEV空间上按照一定的策略去采样一些点,并将这些采样点按照类似FastBEV的方式从2D图像中获取粗略的BEV特征,这些粗略的BEV特征会经过由粗到精细化模块得到最后的BEV特征。自然还会引入时序上的操作来提升网络性能,但是对时序融合部分做了窗口限定,当前帧的特征作为query只在窗口内做计算和优化。

采样点策略
文章的方案突出的稀疏特性,那么BEV采样点自然也是稀疏的,在训练阶段采用随机撒点的方式作为起始种子点。那么在infer阶段就是使用启发式设置作为种子点选择的方式了,什么等间隔采样(文章默认的)、按照距离ego距离做高斯分布采样、借助SD map(定位不准或是道路更新不及时怎么办?)、相机可视化范围、雷达点云分布样式。也就是下面这些采样可视化效果图
在这里插入图片描述
确定采样点之后由2D图像特征构建粗糙BEV特征的过程就参考FastBEV就行了,之后就是需要经过由粗到精细化过程

由粗到精细化
首先会对这些采样点进行前景背景划分来确定RoI,在此基础上使用一个半径确定一个区域,并预测这些区域的结果,由参与预测点数量增加来细化BEV预测结果,也就是下图中的过程(这操作一看就在板子上跑不快)
在这里插入图片描述

时序融合
这里将当前帧的前景点作为query,之前帧的特征作为key和val。但是在做attention的时候是需要考虑计算的范围的,这些计算的范围也需要ego-motion的加持(那么这个东西不准的时候呢?)。
在这里插入图片描述

实验结果
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/462168.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JSP编程

JSP编程 您需要理解在JSP API的类和接口中定义的用于创建JSP应用程序的各种方法的用法。此外,还要了解各种JSP组件,如在前一部分中学习的JSP动作、JSP指令及JSP脚本。JSP API中定义的类提供了可借助隐式对象通过JSP页面访问的方法。 1. JSP API的类 JSP API是一个可用于创建…

内网穿透工具

1. nps-npc 1.1 简介 nps是一款轻量级、高性能、功能强大的内网穿透代理服务器。目前支持tcp、udp流量转发,可支持任何tcp、udp上层协议(访问内网网站、本地支付接口调试、ssh访问、远程桌面,内网dns解析等等……)&#xff0c…

话题:IT行业有哪些证书含金量高?

IT行业有哪些证书含金量高? 1. 以下是一些在IT行业中我认为具有高含金量的证书: 思科认证(Cisco Certifications):思科认证是由网络领域的著名厂商——Cisco公司推出的,是互联网领域的国际权威认证。这个认证体系包含…

基于Linux操作系统的Docker容器安装MySQL随笔

1、在Linux上安装Docker容器 cd /etc/yum.repos.d/ curl -O https://download.docker.com/linux/centos/docker-ce.repo sed -i s/$releasever/8/g docker-ce.repo yum install -y docker-ce 2、修改Docker默认镜像仓库,然后启动Docker容器 sudo mkdir -p /etc/do…

表单标记(html)

前言 发现input的type属性还是有挺多的,这里把一些常用的总结一下。 HTML 输入类型 (w3school.com.cn)https://www.w3school.com.cn/html/html_form_input_types.asp text-文本 文本输入,如果文字太长,超出的部分就不会显示。 定义供文本输入的单行…

【原创 附源码】Flutter海外登录--Tiktok登录最详细流程

最近接触了几个海外登录的平台,踩了很多坑,也总结了很多东西,决定记录下来给路过的兄弟坐个参考,也留着以后留着回顾。更新时间为2024年2月7日,后续集成方式可能会有变动,所以目前的集成流程仅供参考&#…

【 buuctf--刷新过的图片】

前言:这题主要运用到了新的工具F5-steganography由于 java 环境不合适的原因,我不得不重新配java11.0.18。 具体思路:非常帅气的一张图片。。。用 binwalk,stegsolve,zsteg,exiftool 等工具无果后&#xf…

按键扫描16Hz-单片机通用模板

按键扫描16Hz-单片机通用模板 一、按键扫描的原理1、直接检测高低电平类型2、矩阵扫描类型3、ADC检测类型二、key.c的实现1、void keyScan(void) 按键扫描函数①void FHiKey(void) 按键按下功能②void FSameKey(void) 按键长按功能③void FLowKey(void) 按键释放功能三、key.h的…

C++自定义函数详解

个人主页:PingdiGuo_guo 收录专栏:C干货专栏 铁汁们新年好呀,今天我们来了解自定义函数。 文章目录 1.数学中的函数 2.什么是自定义函数 3.自定义函数如何使用? 4.值传递和引用传递(形参和实参区分) …

macbookair怎么清理内存 ?如何利用 CleanMyMac X 进行系统清理

macbookair怎么清理内存 清理MacBook Air的内存可以通过以下几种方法: 优化储存空间。在MacBook Air上,可以通过“优化储存空间”来释放空间。这包括将文件储存在iCloud中,如桌面、文稿和iCloud信息,以及自动移除在iCloud中观看…

懒人精灵 之 Lua 捕获 json解析异常 ,造成的脚本停止.

Time: 2024年2月8日20:21:17 by:MemoryErHero 1 异常代码 Expected value but found T_END at character 12 异常代码 Expected value but found T_OBJ_END at character 223 处理方案 - 正确 json 示范 while true do--Expected value but found T_END at character 1--Ex…

Linux命令行工具使用HTTP代理的方法详解

亲爱的Linux用户们,有没有想过在命令行世界里,你的每一个指令都能悄无声息地穿越千山万水,而不被外界窥探?哈哈,没错,就是通过HTTP代理!今天,我们就来一起探索如何在Linux命令行工具…