Moment Matching for Multi-Source Domain Adaptation论文原理

• ICCV 2019
• 这篇论文介绍了一种解决多源域自适应问题的方法，称为Moment Matching for Multi-Source Domain Adaptation（$M^{3}SDA$）
• 传统的无监督域自适应UDA方法假设训练数据来自单一域，而实际情况往往是训练数据来自多个源头

主要贡献

• 作者收集并标注了迄今为止最大的UDA数据集，称为DomainNet，包含了六个不同的域，大约有60万张图像，分布在345个类别中
• 论文提出了一种新的深度学习方法M3SDA，通过动态地对齐特征分布的矩来将多个标记源域中学到的知识转移到一个未标记的目标域
• 论文提供了针对矩匹配方法的新的理论洞察，包括单一源域自适应和多源域自适应

1 Introduction

2 Related

3 The DomainNet dataset

1 背景

• 深度模型需要大量训练数据的事实，并且提到现有的视觉域自适应数据集要么规模较小，要么类别数量有限
• 为了解决这一问题，作者收集了目前为止规模最大的域自适应数据集，即DomainNet

2 DomainNet

• DomainNet包含六个不同的域，每个域都包含了345个常见物体的类别。这些域包括Clipart、Infograph、Painting、Quickdraw、Real和Sketch。
• 每个域都有不同的特点
  • Clipart（剪贴画图像）
  • Infograph（信息图像）
  • Painting（艺术画作）
  • Quickdraw（“Quick Draw!”游戏中的玩家绘制的图像）
  • Real（真实照片和世界图像）
  • Sketch（特定物体的草图）

3 数据收集方法

• Clipart、Infograph、Painting、Real和Sketch域的图像是通过在不同的图像搜索引擎中结合类别名称和域名称进行搜索来收集的
• 为了清理数据集中的异常值，作者雇佣了20名注释员手动筛选异常值
• 为了控制注释质量，每个图像分配了两名注释员，并且只有两名注释员都同意的图像才被接受
• 筛选过程结束后，从网络爬取的120万张图像中保留了423.5k张图像

4 数据统计

数据集中各个域的平均每个类别的图像数量：

• Clipart和Infograph约为150张
• Painting和Sketch约为220张
• Real约为510张

5 Quickdraw域数据收集方法

• Quickdraw域的图像是直接从https://quickdraw.withgoogle.com/下载
• 原始数据是一系列具有时间信息的离散点
• 为了获得完整的绘图，作者使用了B-spline算法将每个击打中的所有点连接起来
• 每个类别选择了500张图像，共形成Quickdraw域，总共包含了172.5k张图像

4 Moment Matching for Multi-Source DA

1 数据集

源领域的集合DS = {D1, D2, …, DN}，其中每个源领域Di都是带标签的数据集。此外，还有一个未标记的目标领域DT

2 问题描述

• 有多个带标签的源域数据
• 一个未标记的目标域数据
• 通过多个源领域的信息来适应目标领域的数据分布

3 Moment Distance

• 衡量源领域集合DS和目标领域DT之间的差异
• 通过对两个领域之间的特征分布的期望值进行比较来计算的

Moment Distance：源领域和目标领域之间的矩的平方差的总和

• 第一项（关注单个领域）:对于每个源领域和每个特征，计算其在源领域和目标领域上期望值的差异，并取平方。然后对所有源领域和特征进行求和，除以源领域的数量N，取平均值

• 第二项（关注不同领域之间）:

  • $\frac{1}{N^2}$：表示对不同源领域组合的求和部分除以源领域的数量的平方，以取得平均
  • ${\sum }_{i=1}^N{\sum }_{j=i+1}^N$：对不同的源领域组合进行求和
  • ${\sum }_{k=1}^X(E(X_{ki})-E(X_{kj}){)}^2$：对于每个源领域组合和每个特征，计算其在不同源领域上期望值的差异，并取平方。然后对所有不同源领域组合和特征进行求和

4 $M^{3}SDA$

通过训练特征提取器G和分类器集合C，使得在源领域中的分类任务得到很好的执行，并且在共同的潜在特征空间中使源领域和目标领域之间的分布差异最小化。这个模型的设计旨在通过Moment Matching的方式实现多源领域自适应，以提高模型在目标领域上的性能，其中，包含以下组件：

• 特征提取器G

• Moment Matching组件

• 分类器集合C：N个分类器，被表示为C = {C1, C2, …, CN}，用于对源领域中的数据进行分类
  

• 目标函数=源域分类损失 + $M{D}^2$

5 $M^{3}SDA-\beta$

$M^{3}SDA$的一个变种，同时对齐$p(y|x)$和$p(x)$

• 训练特征提取器 G 和两个分类器（C 和 C’），分类多源领域的样本
• 固定特征提取器 G ，对每个源领域的分类器对进行训练
• 尽可能增大分类器C1 和 C1’在目标领域上的差异
• 分类器输出的 L1 距离来度量两个分类器之间的差异
  
• 在固定分类器C 、C’，训练特征提取器 G 来最小化每一对分类器在目标领域上的差异
  
• 这三个训练步骤会周期性地进行，直到整个网络收敛
• $M^{3}SDA-\beta$模型可以更好地对齐源领域和目标领域的特征分布以及类别条件概率分布

6 Ensemble Schema

在测试阶段，我们使用特征生成器和N个分类器对目标领域的测试数据进行处理，作者提出了两种组合分类器输出的方案。

• 平均分类器输出：简单地对所有分类器的输出进行平均，标记为 $M^{3}SD{A}^{\ast }$
• 加权平均分类器输出：每个分类器分配一个权重