在Ultralytics YOLO模型架构中,m.stride是一个非常关键的属性,用于描述网络在不同尺度(scale)上的空间压缩程度。解释m.stride的原理之前,我们首先要了解深度学习中卷积神经网络(CNN)的基本工作原理。
卷积神经网络(CNN)和Stride
卷积神经网络通过一系列的卷积层、池化层等对输入数据进行处理。在这个过程中,特征图(Feature Map)的空间尺寸逐渐减小,而深度(即特征的数量或通道数)逐渐增加。这种空间尺寸的缩减是通过卷积层的stride和池化层实现的。其中,stride是卷积过程中滤波器(kernel)移动的步长。如果stride大于1,则特征图的空间维度会缩减,有助于增大感受野并减少计算量。
m.stride 在YOLO中的应用
在YOLO的架构中,模型通常会有多个输出尺度,这允许模型能够检测在多个尺度上的物体。这意味着同一幅图像将被处理成不同大小的特征图,以便检测不同大小的物体。m.stride属性就是用来表示这些不同尺度下,输入图像相对于输出特征图的缩减比例。
例如,假设输入图像大小为[3, 640, 640](通道数, 高度, 宽度),而某一特征图的大小为[255, 20, 20](通道数, 高度, 宽度),则该特征图的stride可以计算为640 / 20 = 32。这意味着特征图上的每一个单元格,对应原始图像上32x32大小的区域。YOLO模型中的m.stride数组就记录了所有尺度上的这种缩减比例。
参考yolov8-p2.yaml:
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P2-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]s: [0.33, 0.50, 1024]m: [0.67, 0.75, 768]l: [1.00, 1.00, 512]x: [1.00, 1.25, 512]# YOLOv8.0 backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2=========80x320x320- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4=========160x160x160- [-1, 3, C2f, [128, True]] #2=========160x160x160- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8=========320x80x80- [-1, 6, C2f, [256, True]] #4=========320x80x80- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16=========640x40x40- [-1, 6, C2f, [512, True]] #6=========640x40x40- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32=========640x20x20- [-1, 3, C2f, [1024, True]] #8=========640x20x20- [-1, 1, SPPF, [1024, 5]] # 9=========640x20x20# YOLOv8.0-p2 head
head:- [-1, 1, nn.Upsample, [None, 2, "nearest"]] #10 ========= 640x40x40- [[-1, 6], 1, Concat, [1]] #11 cat backbone P4========= 640x40x40+ 640x40x40 = 1280x40x40- [-1, 3, C2f, [512]] # 12========= 640x40x40- [-1, 1, nn.Upsample, [None, 2, "nearest"]] #13=========640x80x80- [[-1, 4], 1, Concat, [1]] #14 cat backbone P3=========640x80x80+ 320x80x80 =960x80x80- [-1, 3, C2f, [256]] # 15 (P3/8-small)=========320x80x80- [-1, 1, nn.Upsample, [None, 2, "nearest"]] #16 =========320x160x160- [[-1, 2], 1, Concat, [1]] #17 cat backbone P2=========320x160x160 + 160x160x160 = 480x160x160- [-1, 3, C2f, [128]] # 18 (P2/4-xsmall)=========160x160x160- [-1, 1, Conv, [128, 3, 2]] #19=========160x80x80- [[-1, 15], 1, Concat, [1]] #20cat head P3=========160x80x80 + 320x80x80 = 480x80x80- [-1, 3, C2f, [256]] # 21 (P3/8-small)=========320x80x80- [-1, 1, Conv, [256, 3, 2]] #22=========320x40x40- [[-1, 12], 1, Concat, [1]] #23 cat head P4=========320x40x40 + 640x40x40 = 960x40x40- [-1, 3, C2f, [512]] # 24 (P4/16-medium)=========640x40x40- [-1, 1, Conv, [512, 3, 2]] #25=========640x20x20- [[-1, 9], 1, Concat, [1]] #26 cat head P5=========640x20x20 + 640x20x20 = 1280x20x20- [-1, 3, C2f, [1024]] # 27 (P5/32-large)=========640x20x20- [[18, 21, 24, 27], 1, Detect, [nc]] # Detect(P2, P3, P4, P5)
从yaml来看,总共有四个输出,分别是P2, P3, P4, P5,我们就这四个输出来看一下。对于P2,如果输入尺寸是640x640,特征图是160x160x160,根据公式来算,stride应该是:
)
同理,剩下的就分别是16,32,64