YOLOv5改进（一）MobileNetv3替换主干网络-编程知识

前言

本篇博客主要讲解YOLOv5主干网络的替换，使用MobileNetv3实现模型轻量化，平衡速度和精度。以下为改进的具体流程~

一、改进MobileNetV3_Small

第一步：修改common.py,新增MobileNetV3

第二步：在yolo.py的parse_model函数中添加类名

第三步：制作模型配置文件

第四步：验证新加入的主干网络

二、改进MobileNetV3_Large

第一步：制作模型配置文件

第二步：验证新加入的主干网络

三、改进训练

第一步：修改train.py中的cfg参数

第二步：运行python train.py

一、改进MobileNetV3_Small

第一步：修改common.py,新增MobileNetV3

将以下代码复制到common.py末尾

# Mobilenetv3Smallclass h_sigmoid(nn.Module):def __init__(self, inplace=True):super(h_sigmoid, self).__init__()self.relu = nn.ReLU6(inplace=inplace)def forward(self, x):return self.relu(x + 3) / 6class h_swish(nn.Module):def __init__(self, inplace=True):super(h_swish, self).__init__()self.sigmoid = h_sigmoid(inplace=inplace)def forward(self, x):return x * self.sigmoid(x)class SELayer(nn.Module):def __init__(self, channel, reduction=4):super(SELayer, self).__init__()# Squeeze操作self.avg_pool = nn.AdaptiveAvgPool2d(1)# Excitation操作(FC+ReLU+FC+Sigmoid)self.fc = nn.Sequential(nn.Linear(channel, channel // reduction),nn.ReLU(inplace=True),nn.Linear(channel // reduction, channel),h_sigmoid())def forward(self, x):b, c, _, _ = x.size()y = self.avg_pool(x)y = y.view(b, c)y = self.fc(y).view(b, c, 1, 1)  # 学习到的每一channel的权重return x * yclass conv_bn_hswish(nn.Module):"""This equals todef conv_3x3_bn(inp, oup, stride):return nn.Sequential(nn.Conv2d(inp, oup, 3, stride, 1, bias=False),nn.BatchNorm2d(oup),h_swish())"""def __init__(self, c1, c2, stride):super(conv_bn_hswish, self).__init__()self.conv = nn.Conv2d(c1, c2, 3, stride, 1, bias=False)self.bn = nn.BatchNorm2d(c2)self.act = h_swish()def forward(self, x):return self.act(self.bn(self.conv(x)))def fuseforward(self, x):return self.act(self.conv(x))class MobileNetV3(nn.Module):def __init__(self, inp, oup, hidden_dim, kernel_size, stride, use_se, use_hs):super(MobileNetV3, self).__init__()assert stride in [1, 2]self.identity = stride == 1 and inp == oup# 输入通道数=扩张通道数 则不进行通道扩张if inp == hidden_dim:self.conv = nn.Sequential(# dwnn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, (kernel_size - 1) // 2, groups=hidden_dim,bias=False),nn.BatchNorm2d(hidden_dim),h_swish() if use_hs else nn.ReLU(inplace=True),# Squeeze-and-ExciteSELayer(hidden_dim) if use_se else nn.Sequential(),# pw-linearnn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),)else:# 否则 先进行通道扩张self.conv = nn.Sequential(# pwnn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),nn.BatchNorm2d(hidden_dim),h_swish() if use_hs else nn.ReLU(inplace=True),# dwnn.Conv2d(hidden_dim, hidden_dim, kernel_size, stride, (kernel_size - 1) // 2, groups=hidden_dim,bias=False),nn.BatchNorm2d(hidden_dim),# Squeeze-and-ExciteSELayer(hidden_dim) if use_se else nn.Sequential(),h_swish() if use_hs else nn.ReLU(inplace=True),# pw-linearnn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),nn.BatchNorm2d(oup),)def forward(self, x):y = self.conv(x)if self.identity:return x + yelse:return y

第二步：在yolo.py的parse_model函数中添加类名

添加内容：

h_sigmoid, h_swish, SELayer, conv_bn_hswish, MobileNetV3

添加效果：

第三步：制作模型配置文件

1、复制models/yolov5s.yaml文件，并重命名

2、根据MobileNetv3的网络结构修改配置文件

根据网络结构我们可以看出MobileNetV3模块包含六个参数[out_ch, hidden_ch, kernel_size, stride, use_se, use_hs]：
• out_ch：输出通道
• hidden_ch：表示在Inverted residuals中的扩张通道数
• kernel_size：卷积核大小
• stride：步长
• use_se：表示是否使用 SELayer，使用了是1，不使用是0
• use_hs：表示使用 h_swish 还是 ReLU，使用h_swish是1，使用 ReLU是0

修改的时候，需要注意/8，/16，/32等位置特征图的变换

3、修改head部分concat的层数

修改完成代码如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:- [10,13, 16,30, 33,23]  # P3/8- [30,61, 62,45, 59,119]  # P4/16- [116,90, 156,198, 373,326]  # P5/32# Mobilenetv3-small backbone
# MobileNetV3_InvertedResidual [out_ch, hid_ch, k_s, stride, SE, HardSwish]
backbone:# [from, number, module, args][[-1, 1, conv_bn_hswish, [16, 2]],             # 0-p1/2   320*320[-1, 1, MobileNetV3, [16,  16, 3, 2, 1, 0]],  # 1-p2/4   160*160[-1, 1, MobileNetV3, [24,  72, 3, 2, 0, 0]],  # 2-p3/8   80*80[-1, 1, MobileNetV3, [24,  88, 3, 1, 0, 0]],  # 3        80*80[-1, 1, MobileNetV3, [40,  96, 5, 2, 1, 1]],  # 4-p4/16  40*40[-1, 1, MobileNetV3, [40, 240, 5, 1, 1, 1]],  # 5        40*40[-1, 1, MobileNetV3, [40, 240, 5, 1, 1, 1]],  # 6        40*40[-1, 1, MobileNetV3, [48, 120, 5, 1, 1, 1]],  # 7        40*40[-1, 1, MobileNetV3, [48, 144, 5, 1, 1, 1]],  # 8        40*40[-1, 1, MobileNetV3, [96, 288, 5, 2, 1, 1]],  # 9-p5/32  20*20[-1, 1, MobileNetV3, [96, 576, 5, 1, 1, 1]],  # 10       20*20[-1, 1, MobileNetV3, [96, 576, 5, 1, 1, 1]],  # 11       20*20]# YOLOv5 v6.0 head
head:[[-1, 1, Conv, [512, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 8], 1, Concat, [1]],  # cat backbone P4[-1, 3, C3, [512, False]],  # 13[-1, 1, Conv, [256, 1, 1]],[-1, 1, nn.Upsample, [None, 2, 'nearest']],[[-1, 3, 1, Concat, [1]],  # cat backbone P3[-1, 3, C3, [256, False]],  # 17 (P3/8-small)[-1, 1, Conv, [256, 3, 2]],[[-1, 16], 1, Concat, [1]],  # cat head P4[-1, 3, C3, [512, False]],  # 20 (P4/16-medium)[-1, 1, Conv, [512, 3, 2]],[[-1, 12], 1, Concat, [1]],  # cat head P5[-1, 3, C3, [1024, False]],  # 23 (P5/32-large)[[19, 22, 25], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)]

第四步：验证新加入的主干网络

1、修改yolo.py中以下两个地方

（1）DetectionModel函数下的cfg

（2）parser = argparse.ArgumentParser()下的sfg

2、运行yolo.py

(1)yolov5s_MobileNetV3_Small.yaml

(2)yolov5s.yaml

实验结果对比：可以看到替换主干网络为MobileNetV3_Small之后层数变多，可以学习到更多的特征，参数量从723万减少到338万，GFLOPs由16.6变为6.1