文章目录

1.Abstract
2. Introduction
3. Related work
- DETR base methods
4. Method
- 4.1Feature Extraction
- - Visual Features
  - depth features
  - foreground depth map
- 4. 2 Depth guided transformer
- - Visual and depth encoders
  - Depth-guided-decoder
  - Depth positional encoding
- 4. 3 Detection heads and loss
- - bipartite matching
  - overall loss
- 4.4 Plug-and-play for Multi-view Detectors
5 Experiments

1.Abstract

单目目标检测在自动驾驶领域，一直是一个具有挑战的任务。现在大部分的方式都是沿用基于卷积的2D 检测器，首先检测物体中心，后通过中心附近的特征去预测3D属性。

但是仅仅通过局部的特征去预测3D特征是不高效的，且并没有考虑一些长距离的物体之间的深度关系，丢失了很多的有意义的信息。

在本作中，作者介绍了一种基于DETR框架的用于单目检测的网络。作者通过对原始的transformer网络进行改造，加入了以深度为引导的transformer结构。作者将此网络结构命名为MonoDETR。

具体来说，作者在使用视觉encoder去提取图像的特征外，还引入了一种depth encoder去预测前景深度地图，后续将其转化为depth embeddings。之后就和传统的DETR或者BevFormer一致，使用3D object query去与前述生成的vision embeding 和 depth embending分别做self 和 cross attention，通过decoder得到最终的2D以及3D结果。通过此种方法，每一个3D物体都是通过depth-guided regions（embedding）去获取的3D信息，而非限制在局部的视觉特征。

在这里插入图片描述

2. Introduction

相对于基于lidar和multi-view 的3D检测任务，单目3D检测是相对较困难的。因为没有可依赖的3D深度信息以及多视角几何学关系。所以相应的检测结果也不会那么的好。

在这里插入图片描述
为了解决这些问题，我们根据DETR的2
D检测框架提出了本文的网络结构。如上图所示b所示：此结构包括两个平行部分，分别为vision encoder 和 depth encoder。

在这里插入图片描述

划重点：如何去学习深度信息呢？这里论文使用了了一个“轻”的监督去获取输入图像的深度信息。具体是在在image backbone后接了一个depth predictor，用于输出前景深度地图。同时在过程中产生的depth feature会输入到紧接着的depth encoder，用来提取深度信息。同时我们对输出的前景地图进行监督。此监督仅仅是由我们的labeled object构成即可，也就是一个discrete depth of objects。这样就不需要稠密的深度地图label。减轻了对数据的压力。又能获取使用的深度信息。

在这两个encoder后，继续接一个transformer结构，使用object query从视觉embeding和depth embeding中聚合信息，从而对物体进行检测。

此处的优势就比较明显，相对于目前自动驾驶领域的各种繁重的数据pipeline，此方法仅仅需要常规的物体标注结果即可完成全部的检测流程。而无需额外的dense depth maps或者Lidar信息。且在kitti中取得了SOTA的成绩。

同时这里边提到的depth encoder也可以作为一个plug and play的插件直接用来增强多视觉3D检测效果，比如BEVFormer。（当然我看来这几个点，似乎没啥用~）

3. Related work

咱自己看论文哈~和本文关系不太大

突然看到有个有点意思的介绍，这里简单说下：

DETR base methods

MonoDTR：仅仅引入transformer去增强数据提取而已。还是提取的局部特征，基于object center这种，严格上不是基于DETR的方法，具体可以参考：MonoDTR解读
DETR3D 和PETR v2 ： multi view 3D检测，使用了detr结构，但是没用到transform base的encoder。相应的也就只用了视觉信息，无深度信息。具体参考PETR v2解读 DETR 3D
BEVFormer：加了个从image feature到bev feature的encoder进行信息提取。后续在bev空间进行3D检测。GOOD！BEVFormer 解读

4. Method

又到了喜闻乐见的看图说论文环节，上图

在这里插入图片描述

4.1Feature Extraction

Visual Features

在这里插入图片描述
无需过多赘述，用来提取图像高阶特征的常规cnn网络，基本收敛在使用resnet上。这里设置的下采样倍率是1/8, 1/16, 1/32。这里论文中没有对三层fpn的结果都使用，而是选择了语义信息最丰富的最后一层作为visual feature输入vision encoder。

depth features

在这里插入图片描述
这里深度特征，先将从backbone提取的三层特征都进行了融合（element-wise addition），主要目的是保留小目标的特征。之后使用3*3的网络提取depth feature。

foreground depth map

为了让深度特征更加的高效以及丰富。这里添加了一个额外的深度监督。通过将depth feature经过一个1*1的卷积，生成一个前景深度图。而我们通过离散的基于gt的深度标签对其进行监督。具体规则：在2D bbox内的pixel统一赋值为物体的深度。如果是在两个bbox内的pixel，则选择离相机近的距离值赋值。同时这里对深度也进行了离散编码。参考的方法见： Categorical depth distributionnetwork for monocular 3d object detection

简单总结：在检测距离 $d_x, d_y]$ 内使用linear increasing discretization （LID）分布对其进行编码，一共编码成k+1个bins。其中k个为前景，最后一个为背景。具体使用公式如下：
在这里插入图片描述
其中 $\delta$ 是相关参数公差。可以根据检测距离和需要的bins数量得到。

4. 2 Depth guided transformer

Visual and depth encoders

在这里插入图片描述
作者使用两个encoder对获取的图像和深度feature进行进一步的全局特征提取。这里作者也贴心的将使用transformer时需要将feature flatten的操作通过对feature维度的描写给大家展示出来了。维度分别为 $H*W/16^2$ 和 $H*W/32^2$ 。具体构成就是每一个encoder block由一个self-attention 和 ffn构成。encoder的作用在这里就是将local feature 升格成global feature了。由于vision feature含有更复杂的信息，所以使用了3个block去更好的提取vision 信息。

Depth-guided-decoder

在这里插入图片描述
划重点：核心部分。

根据从encoder提取的全局特征 $f_D^e$ 和 $f_V^e$ ，作者设计了基于深度引导的decoder结构。使用预先设定的object queries q去和 $f_D^e$ 和 $f_V^e$ 做cross attention。每一个block包含了一个depth cross-attention、一个inter-query self-attention、一个视觉cross-attention和做一个FFN。这样输出的object embedings就既包括视觉信息，又包括深度信息，可以更好的进行预测工作。

为了更好的融合提取信息，作者一共使用了3个block来做decoder工作。

Depth positional encoding

在transformer中需要position embeding。这里没有像其他结构一样，直接使用一个sin函数来作为position encoding。而是使用了一个可学习的depth positional encodings。具体细节是使用前序得的depth map去差值获取与 $f_D^e$ 相对应的深度信息，然后与 $f_D^e$ 进行逐点相加。这样object query就能更好的去capture scene-level 深度信息并更好的理解3D 几何信息。