VGG 网络
- LRN(Local Response Normalization)来自于AlexNet现在已经不怎么使用,因为经过很多实验并没有较大的作用
- conv的stride为1,padding为1
- maxpool的size为2,stride为2
感受野叠加
论文中一个比较重要的使用就是感受野的叠加
感受野(Receptive Field)
是卷积神经网络中一个非常重要的概念,它表示某一层神经元在输入图像上能够“看到”的区域范围。感受野的大小决定了网络能够捕捉到的图像信息的范围。通过叠加多个卷积层,感受野会逐渐扩大。下面我们详细解释感受野叠加后的计算公式。
感受野的计算公式
感受野的计算可以通过递推公式来实现。假设我们有一个卷积神经网络,感受野的计算公式如下:
$$
F(i)=(F(i+1)-1)\times Stride+Ksize
$$
- F(i)为第i层感受野
- Stride为第i层步距
- Ksize为卷积核或池化核尺寸
Feature map: F = 1
Conv3x3(3): F = (1 - 1) x 1 + 3 = 3
Conv3x3(2): F = (3 - 1) x 1 + 3 = 5
Conv3x3(1): F = (5 - 1) x 1 + 3 = 7
所以在VGG中说两个3x3
卷积核叠加等于一个5x5
卷积核
计算参数
在VGG
中多个小卷积核叠加可以等同于大卷积核,但所需参数大幅减小。
例如: 假设对于7x7
,3个3x3
卷积, 输入输出通道均为C
7x7
卷积核: $7\times7\times C\times C=49C^2$
3个3x3
卷积核: $3\times(3\times 3 \times C \times C)=27C^2$
参数量显著减少
应用
论文提到模型泛化性较好,在去除上面的全连接层,只保留卷积层的情况下,对其他工作的迁移效果比较好。
所以在当前,很多工作比如风格迁移这些的特征提取往往使用VGG16
进行