【论文阅读】MC：用于语义图像分割的深度卷积网络弱监督和半监督学习

Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

深度卷积神经网络在大量具有强像素级标注的图像上进行训练

 

研究具挑战性的问题：

• 弱标注的训练数据(如边界框或图像级标签
• 来自一个或多个数据集的少量强标记和许多弱标记图像的组合中学习用于语义图像分割的DCNNs
   

开发了期望最大化(EM)方法

在PASCAL VOC 2012图像分割基准上进行训练

 

一、介绍

在PASCAL VOC 数据集上

将DCNN与全连通条件随机场（CRF）相结合，获得高分辨率分割。

 

我们开发了新的方法来从弱注释中训练DCNN图像分割模型，无论是单独的还是与少量强注释相结合

现有的从这种非常弱的标签训练语义分割模型的方法使用多实例学习（MIL）技术
 

开发了新的在线期望最大化（EM）方法

估计潜在像素标签（受弱注释约束）和使用随机梯度下降（SGD）优化DCNN参数之间交替

EM方法在半监督场景中也很出色
 

主要贡献：

• 提出了用于图像级或边界框注释训练的EM算法，适用于弱监督和半监督设置。
• 少量像素级注释图像与大量图像级或边界框注释图像相结合时，获得了优异的性能
• 数据集之间组合弱注释或强注释可以产生进一步的改进

 

二、联系工作

仅使用图像级标签训练分割模型一直是一个具有挑战性的问题

他们都为这个问题开发了基于MIL的算法

推断分割时考虑了弱标签

 

边界框注释用于语义分割，3D边界框实现了汽车分割的人类级精度。边界框注释也常用于交互式分割

分割方法可以有效地估计出足够准确的对象片段，用于训练DCNN语义分割系统

 

三、方法

这使用DCNN来预测每个像素的标签分布，然后使用全连接（密集）CRF来平滑预测，同时保留图像边缘

专注于从弱标签训练DCNN参数的方法，仅在测试时使用CRF

 

完全监督的情况

θ是DCNN参数的矢量，同时标签分布的公式为：

Image-level annotations

当只有图像级注释可用时，我们可以观察到图像值x和图像级标签z，但像素级分割y是潜在变量，保存以下概率图形模型：

其实感觉提出弱监督的人简直是天才，仅依靠图像级的label就可以生成像素级的label

算法步骤:

bfg>bbg，比背景更提升当前的前景类别，以鼓励全对象覆盖，并避免将所有像素分配给背景的退化解决方案

在实践中，采用了算法1的变体，自适应地设置依赖于图像和类的偏差bl，以便将图像区域的规定比例分配给背景或前景对象类

 

EM 与 MIL进行对比

基于EM的方法与最近两种用于学习语义图像分割模型的多实例学习（MIL）方法进行比较是有指导意义的

MIL分类在图像分类任务中效果良好，但它不太适合分割

DCNN被调整为专注于最独特的对象部分，而不是捕捉整个对象（例如人体）

 
边界框注释

Bbox-Rect方法相当于简单地将边界框内的每个像素视为相应对象类的正示例。

通过将属于多个边界框的像素分配给面积最小的边界框来解决歧义。

探索了第二种Bbox-Seg方法，在该方法中我们执行自动前景/背景分割
 

分别划分：

• 边界框的中心区域（框内像素的α%）约束为前景，
• 边界框外的像素约束为背景

 

我们的第三种Bbox EM Fixed方法是一种EM算法，它允许我们在整个训练过程中细化估计的分割图

 

混合强注释和弱注释

我们通常可以访问大量的弱图像级注释图像，并且只能为这些图像中的一小部分获取详细的像素级注释

将固定比例的强/弱注释图像捆绑到每个小批量中，

在每次迭代时使用EM算法来估计弱注释图像的潜在语义分割。
 

 

四、实验结果

数据集所提出的训练方法在PASCAL VOC 2012分割基准上进行评估，该基准由20个前景对象类和一个背景类组成

MS-COCO 2014数据集有80个前景对象类和一个背景类，并在像素级别进行了注释

 

为了模拟只有弱注释可用的情况并进行公平的比较（例如，对所有设置使用相同的图像），我们从像素级注释生成弱注释

而当只有图像级注释可用时，小FOV（128×128）表现更好

将DCNN和密集CRF训练阶段解耦，并通过交叉验证来学习CRF参数