SS3D
- network
- a missingannotated instance mining module 缺失注释实例挖掘模块
- Score-based filtering
- IoU-guided suppression
- Final-step instance bank processing
- a reliable background mining module 可靠背景挖掘模块
- point cloud filling data augmentation 点云填充数据增强模块
network
a missingannotated instance mining module 缺失注释实例挖掘模块
该模块结合了IoU引导的抑制和基于分数的 过滤方案作为挖掘未标记正实例的强化措施作为高质量的伪实例。然后,将选定的伪实例存储在实例库中,以进一步指导可靠的背景挖掘模块。
Score-based filtering
如图,首先,原始输入点云 x 通过顶部检测器生成预测 pt 。然后,我们执行一组全局增强,其中包括对 x 进行随机旋转、翻转和缩放以生成增强点云 x,与pt 不同步以生成增强预测 pt’,底部检测器基于 x 生成预测 pb 。我们设置一个分类置信度阈值 τ c l s τ_{cls} τcls 来过滤掉可能包含错误类别的 pb 和 pt’ 的预测,然后获得过滤后的预测。
IoU-guided suppression
仅基于分数的过滤策略无法获得可靠的预测。受 FixMatch [20] 的启发,我们进一步提出了一种有效的 IoU 引导的抑制策略。得到过滤后的预测后,我们计算 pt 和 pb 的每对边界框之间的 IoU 矩阵,旨在匹配来自不规则点云的两个预测的框。然后我们过滤掉IoU小于阈值 τ I o U τ_{IoU} τIoU的不匹配的配对边框,从而进一步提高伪实例的质量。
Final-step instance bank processing
将基于分数的过滤与IoU引导的抑制相结合,我们可以有效地避免生成低质量的伪实例,并最终获得一组边界框 { b r } n = 1 N \{b^{r}\}_{n=1}^{N} {br}n=1N,其中 N N N 和 r r r 分别是训练场景的数量和场景中保留的边界框数。然后,我们计算边界框 b n r b^{r}_{n} bnr 与相同索引 n n n 的实例库 B \mathcal{B} B 中的边界框 b B n b_{\mathcal{B}}^{n} bBn 之间的 IoU,并选择不与 b B n b_{\mathcal{B}}^{n} bBn 重叠的 b r n b_{r}^{n} brn。最后,选择的边界框(橙色)以及相应的预测类标签和点云被存储在实例库中,该库还包含所有稀疏注释的实例。
a reliable background mining module 可靠背景挖掘模块
依托更新的实例库,我们利用提出的可靠背景挖掘模块来挖掘背景点,并进一步消除由于缺失注释实例而导致的负面监督信息。与现有的针对错误监督的重新缩放策略相比,我们的方法更加简单有效。
如图4所示,为了获得可靠的背景点云,我们采用尽可能寻找潜在前景点的策略可能的。具体来说,我们使用具有低置信度分数阈值 τ l τ_l τl 的检测器来获得目标检测结果。同时,我们从检测器中删除了非极大值抑制(NMS)操作。 这样,我们确保结果尽可能包含潜在的前景点, 这意味着原始点云的其余部分往往是可靠的背景点云。为了生成新的训练数据,我们移除检测到的目标的3D边界框(与实例库中的实例不重叠的目标)内部的点数据。
point cloud filling data augmentation 点云填充数据增强模块
可靠的背景选择处理完成后,点云场景出现了断裂。同时,场景中的实例可能非常稀疏。这些问题会显著降低网络的性能。受[28]提出的地面真值(GT)采样增强启发,我们进一步提出了一种点云填充数据增强策略来解决这些问题。对于每个保留的边界框,我们从实例库中随机选择一个边界框,并将相应的点云放置在所选边界框的中心处,如果所选边界框与断裂场景中的现有边界框不重叠。然后,我们利用GT采样增强[28]来进一步增强当前场景。最后,我们获得了具有可信正例和可靠背景的合并点云。
通过这种设计,我们可以修复由于之前删除点而导致的密度不均匀性,同时,更多的地面真值框也减少了在每个场景中只稀疏标注了少量实例时对网络的负面影响。通过前面的处理,可能对网络造成负面影响的模糊点大部分被移除了,包括那些由我们的缺失注释实例挖掘模块缺失注释的实例。
second【28】:我们引入了一种数据增强方法。首先,我们从训练数据集中生成了一个数据库,其中包含所有地面真相及其相关的点云数据(地面真相的三维边界框内的点)的标签。然后,在训练过程中,我们从这个数据库中随机选择一些地面事实,并通过串联的方式将它们引入到当前的训练点云中。使用这种方法,我们可以大大增加每个点云的地面真实值的数量,并模拟在不同环境中存在的对象。为了避免物理上不可能出现的结果,我们在对地面真相进行采样后进行了碰撞测试,并删除了任何与其他物体碰撞的采样对象。
此外,生成了可信数据,为以迭代方式重新训练检测器提供了重要的监督信息。算法1总结了我们的SS3D。