SFOD:尖峰聚变目标探测器
事件摄像机具有高时间分辨率、高动态范围、低功耗和高像素带宽的特点,为特殊环境中的物体检测提供了独特的能力。尽管有这些优点,但事件数据的固有稀疏性和异步性对现有的对象检测算法提出了挑战。受人脑编码和处理信息方式的启发,尖峰神经网络(SNN)为这些难题提供了一种潜在的解决方案。然而,在当前的实现中,它们在使用事件相机进行对象检测方面的性能是有限的。提出了一种基于SNN的简单有效的目标检测方法——尖峰融合目标检测器(SFOD)。具体来说,设计了一个尖峰融合模块,实现了应用于事件相机的SNN中不同尺度特征图的首次融合。此外,通过整合在NCAR数据集上骨干网预训练期间进行的分析和实验,深入研究了尖峰解码策略和损失函数对模型性能的影响。因此,基于SNN建立了最先进的分类结果,在NCAR数据集上实现了93.7%的准确率。在GEN1检测数据集上的实验结果表明,SFOD实现了32.1%的最新mAP,优于现有的基于SNN的方法。改进的研究不仅强调了SNN在事件相机目标检测中的潜力,还推动了SNN的发展。
SFOD的架构,如图3-40所示。
图3-40 SFOD的架构
在图3-40所示,尖峰融合模块在图表的虚线区域中突出显示。在第4层的融合中,引入了临时块1和去卷积块4,并通过虚线与网络的其余部分连接。
SPES的架构,蓝色块对应于图3-40中的金字塔块,如图3-41所示。
图3-41 SPES的架构,蓝色块对应于图3-40中的金字塔块
模型在GEN1数据集上的推理结果,如图3-42所示。
图3-42 模型在GEN1数据集上的推理结果
在图3-42中,展示了模型在特定场景下的检测能力:第1列展示了重叠汽车的检测;第2列展示了非重叠检测;第3列是在稀疏数据环境中进行检测;第4列揭示了多类别场景中的表现;第5列侧重于个人目标检测。