multi-object tracking in the dark

创新点：

• 构建LMOT数据集：开发了一种双摄像头系统，同步采集明暗视频帧，形成高度对齐的低光视频对，并提供高质量的多目标跟踪标注。该数据集包含大量城市户外场景视频，涵盖多种动态物体，为模型训练和评估提供了丰富的数据支持。
• 提出LTrack方法：引入自适应低通下采样模块（ALD），通过空间低通卷积提取图像的低频成分，增强特征图的低频部分，同时利用全局平均池化和全连接层自适应地对特征进行加权融合，以降低高频噪声的影响。此外，还提出了降质抑制学习策略（DSL），利用配对的低光视频帮助模型在特征域中抑制噪声干扰，鼓励图像内容响应，从而学习到在噪声干扰和图像质量下降下的不变语义信息。

ALD模块

自适应低通下采样模块（Adaptive Low-pass Downsampling，ALD）是一种用于处理低光图像特征提取的模块，旨在增强低频成分并抑制高频噪声，从而提高模型在低光条件下的特征表示能力和跟踪性能。ALD模块主要通过以下步骤工作：

1. 空间低通卷积（Spatial Low-pass Convolution）

ALD模块首先对输入的特征图进行空间低通卷积操作。低通卷积的目的是提取特征图中的低频成分，这些低频成分通常包含图像中的基本结构和轮廓信息，而高频成分则往往包含噪声和细节。通过低通卷积，可以有效地减少高频噪声对特征提取的干扰。

具体来说，ALD模块使用一个低通卷积核对特征图进行卷积操作。为了确保卷积核具有低通特性，采用 softmax 函数对原始卷积核进行约束，将其转换为低通卷积核.

2. 自适应特征融合

在获得低频特征图后，ALD模块通过自适应加权的方式将低频特征与原始特征进行融合。具体来说，使用全局平均池化操作分别对原始特征和低频特征进行池化，得到通道描述符。然后，将这些通道描述符输入到一个全连接层中，计算出对应的权重值。这些权重值用于对原始特征和低频特征进行加权融合，使得模型能够根据当前特征图的特性自适应地调整低频和高频信息的比例。

3. 下采样

ALD模块还执行下采样操作，以减少特征图的分辨率。这不仅有助于降低计算复杂度，还能进一步增强特征的鲁棒性。下采样可以通过多种方式实现，例如使用步幅为2的卷积层或最大池化层等。

工作流程总结

ALD模块的工作流程可以总结如下：

1. 对输入特征图进行空间低通卷积，提取低频特征。
2. 使用全局平均池化和全连接层计算低频特征和原始特征的权重。
3. 根据计算出的权重，自适应地将低频特征与原始特征进行融合。
4. 对融合后的特征图进行下采样，得到最终的输出特征图。

自适应的加权融合

自适应加权融合在ALD模块中是通过以下步骤实现的：

1. 全局平均池化（Global Average Pooling）

首先，对原始特征图和低频特征图分别进行全局平均池化操作。全局平均池化会将每个特征图在空间维度上进行平均池化，得到一个一维的向量，该向量表示了特征图在通道维度上的全局信息。具体来说，对于大小为
$ H \times W \times C $ 的特征图，全局平均池化会将其转换为一个大小为 ( C ) 的向量，其中每个元素是对应通道上所有像素的平均值。

2. 全连接层（Fully Connected Layer）

将全局平均池化得到的两个向量（原始特征的全局信息和低频特征的全局信息）作为输入，送入一个全连接层。全连接层的作用是根据这两个向量计算出对应的权重值。全连接层的输出是一个权重向量，其中每个元素对应一个特征图的权重。

3. 权重应用（Weight Application）

将计算出的权重向量应用于原始特征图和低频特征图。具体来说，将权重向量中的每个权重值分别乘以对应的特征图，然后将加权后的特征图进行加权求和，得到融合后的特征图。这个过程可以表示为：

$ F_{\text{fused}} = \alpha F_{\text{original}} + \beta F_{\text{low-pass}} $

其中，$ F_{\text{original}} $ 是原始特征图，$ F_{\text{low-pass}} $ 是低频特征图

4. 自适应调整

权重值是根据当前特征图的特性动态计算的，因此融合过程具有自适应性。在不同的特征图或不同的场景下，模型会自动调整权重，以最优的方式融合原始特征和低频特征。

通过上述步骤，自适应加权融合能够根据特征图的全局信息动态地调整不同特征的贡献，从而在增强低频成分的同时，保留重要的高频信息，提高模型在低光条件下的特征表示能力和跟踪性能。