【深度学习】卷积神经网络(CNN)的参数优化方法

卷积神经网络(CNN)的参数优化方法

著名： 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录，并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有中文翻译的版本，

前言

最近卷积神经网络（CNN）很火热，它在图像分类领域的卓越表现引起了大家的广泛关注。本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learning一书中关于深度学习一章中关于提高泛化能力的一些概述和实验结果。力争用数据给大家一个关于正则化，增加卷积层/全连接数，弃权技术，拓展训练集等参数优化方法的效果。

本文并不会介绍正则化，弃权（Dropout）, 池化等方法的原理，只会介绍它们在实验中的应用或者起到的效果，更多的关于这些方法的解释请自行查询。

mnist数据集介绍

本文的实验是基于mnist数据集合的，mnist是一个从0到9的手写数字集合，共有60,000张训练图片，10，000张测试图片。每张图片大小是28*28大小。我们的实验就是构建一个神经网络来高精度的分类图片，也就是提高泛化能力。

卷积神经网络(CNN)的参数优化方法
提高泛化能力的方法

一般来说，提高泛化能力的方法主要有以下几个：

 

  • 正则化
  • 增加神经网络层数
  • 使用正确的代价函数
  • 使用好的权重初始化技术
  • 人为拓展训练集
  • 弃权技术

 

下面我们通过实验结果给这些参数优化理论一个直观的结果

1. 普通的全连接神经网络的效果

我们使用一个隐藏层，包含100个隐藏神经元，输入层是784，输出层是one-hot编码的形式，最后一层是Softmax层。训练过程采用对数似然代价函数，60次迭代，学习速率η=0.1，随机梯度下降的小批量数据大小为10，没有正则化。在测试集上得到的结果是97.8%，代码如下：

  
  1. >>> import network3
  2. >>> from network3 import Network
  3. >>> from network3 import ConvPoolLayer, FullyConnectedLayer, SoftmaxLayer
  4. >>> training_data, validation_data, test_data = network3.load_data_shared()
  5. >>> mini_batch_size = 10
  6. >>> net = Network([
  7.         FullyConnectedLayer(n_in=784, n_out=100),
  8.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  9. >>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
  10.             validation_data, test_data)

2.使用卷积神经网络 — 仅一个卷积层

输入层是卷积层，5*5的局部感受野，也就是一个5*5的卷积核，一共20个特征映射。最大池化层选用2*2的大小。后面是100个隐藏神经元的全连接层。结构如图所示

卷积神经网络(CNN)的参数优化方法
在这个架构中，我们把卷积层和chihua层看做是学习输入训练图像中的局部感受野，而后的全连接层则是一个更抽象层次的学习，从整个图像整合全局信息。也是60次迭代，批量数据大小是10，学习率是0.1.代码如下， 

  
  1. >>> net = Network([
  2.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  3.                       filter_shape=(20, 1, 5, 5), 
  4.                       poolsize=(2, 2)),
  5.         FullyConnectedLayer(n_in=20*12*12, n_out=100),
  6.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  7. >>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
  8.             validation_data, test_data)

经过三次运行取平均后，准确率是98.78%，这是相当大的改善。错误率降低了1/3，。卷积神经网络开始显现威力。

3.使用卷积神经网络 — 两个卷积层

我们接着插入第二个卷积-混合层，把它插入在之前的卷积-混合层和全连接层之间，同样的5*5的局部感受野，2*2的池化层。

  
  1. >>> net = Network([
  2.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  3.                       filter_shape=(20, 1, 5, 5), 
  4.                       poolsize=(2, 2)),
  5.         ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
  6.                       filter_shape=(40, 20, 5, 5), 
  7.                       poolsize=(2, 2)),
  8.         FullyConnectedLayer(n_in=40*4*4, n_out=100),
  9.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  10. >>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
  11.             validation_data, test_data)

这一次，我们拥有了99.06%的准确率。

4.使用卷积神经网络 — 两个卷积层+线性修正单元(ReLU)+正则化

上面我们使用的Sigmod激活函数，现在我们换成线性修正激活函数ReLU
f(z)=max(0,z),我们选择60个迭代期，学习速率η=0.03, ，使用L2正则化，正则化参数λ=0.1,代码如下

  
  1. >>> from network3 import ReLU
  2. >>> net = Network([
  3.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  4.                       filter_shape=(20, 1, 5, 5), 
  5.                       poolsize=(2, 2), 
  6.                       activation_fn=ReLU),
  7.         ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
  8.                       filter_shape=(40, 20, 5, 5), 
  9.                       poolsize=(2, 2), 
  10.                       activation_fn=ReLU),
  11.         FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
  12.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  13. >>> net.SGD(training_data, 60, mini_batch_size, 0.03, 
  14.             validation_data, test_data, lmbda=0.1)

这一次，我们获得了99.23%的准确率，超过了S型激活函数的99.06%. ReLU的优势是max(0,z)中z取最大极限时不会饱和，不像是S函数，这有助于持续学习。

5.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集

拓展训练集数据的一个简单方法是将每个训练图像由一个像素来代替，无论是上一个像素，下一个像素，或者左右的像素。其他的方法也有改变亮度，改变分辨率，图片旋转，扭曲，位移等。

我们把50，000幅图像人为拓展到250,000幅图像。使用第4节一样的网络，因为我们是在训练5倍的数据，所以减少了过拟合的风险。

  
  1. >>> expanded_training_data, _, _ = network3.load_data_shared(
  2.         "../data/mnist_expanded.pkl.gz")
  3. >>> net = Network([
  4.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  5.                       filter_shape=(20, 1, 5, 5), 
  6.                       poolsize=(2, 2), 
  7.                       activation_fn=ReLU),
  8.         ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
  9.                       filter_shape=(40, 20, 5, 5), 
  10.                       poolsize=(2, 2), 
  11.                       activation_fn=ReLU),
  12.         FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
  13.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  14. >>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03, 
  15.             validation_data, test_data, lmbda=0.1)

这次的到了99.37的训练正确率。

6.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集+继续插入额外的全连接层

继续上面的网络，我们拓展全连接层的规模，300个隐藏神经元和1000个神经元的额精度分别是99.46%和99.43%.
我们插入一个额外的全连接层

  
  1. >>> net = Network([
  2.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  3.                       filter_shape=(20, 1, 5, 5), 
  4.                       poolsize=(2, 2), 
  5.                       activation_fn=ReLU),
  6.         ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
  7.                       filter_shape=(40, 20, 5, 5), 
  8.                       poolsize=(2, 2), 
  9.                       activation_fn=ReLU),
  10.         FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
  11.         FullyConnectedLayer(n_in=100, n_out=100, activation_fn=ReLU),
  12.         SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
  13. >>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03, 
  14.             validation_data, test_data, lmbda=0.1)

这次取得了99.43%的精度。拓展后的网络并没有帮助太多。

7.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+拓展数据集+继续插入额外的全连接层+弃权技术

弃权的基本思想就是在训练网络时随机的移除单独的激活值，使得模型对单独的依据丢失更为强劲，因此不太依赖于训练数据的特质。我们尝试应用弃权技术到最终的全连接层(不是在卷基层)。这里，减少了迭代期的数量为40个，全连接层使用1000个隐藏神经元，因为弃权技术会丢弃一些神经元。Dropout是一种非常有效有提高泛化能力，降低过拟合的方法！

  
  1. >>> net = Network([
  2.         ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
  3.                       filter_shape=(20, 1, 5, 5), 
  4.                       poolsize=(2, 2), 
  5.                       activation_fn=ReLU),
  6.         ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
  7.                       filter_shape=(40, 20, 5, 5), 
  8.                       poolsize=(2, 2), 
  9.                       activation_fn=ReLU),
  10.         FullyConnectedLayer(
  11.             n_in=40*4*4, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
  12.         FullyConnectedLayer(
  13.             n_in=1000, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
  14.         SoftmaxLayer(n_in=1000, n_out=10, p_dropout=0.5)], 
  15.         mini_batch_size)
  16. >>> net.SGD(expanded_training_data, 40, mini_batch_size, 0.03, 
  17.             validation_data, test_data)

使用弃权技术，的到了99.60%的准确率。

8.使用卷积神经网络 — 两个卷基层+线性修正单元(ReLU)+正则化+拓展数据集+继续插入额外的全连接层+弃权技术+组合网络

组合网络类似于随机森林或者adaboost的集成方法，创建几个神经网络，让他们投票来决定最好的分类。我们训练了5个不同的神经网络，每个都大到了99.60%的准去率，用这5个网络来进行投票表决一个图像的分类。

采用这个方法，达到了99.67%的准确率。

总结

卷积神经网络 的一些技巧总结如下：

1. 使用卷积层极大地减小了全连接层中的参数的数目，使学习的问题更容易

2. 使用更多强有力的规范化技术（尤其是弃权和卷积）来减小过度拟合，

3. 使用修正线性单元而不是S型神经元，来加速训练-依据经验，通常是3-5倍，

4. 使用GPU来计算

5. 利用充分大的数据集，避免过拟合

6. 使用正确的代价函数，避免学习减速

7. 使用好的权重初始化，避免因为神经元饱和引起的学习减速

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/211530.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ES 万条以外分页检索功能实现及注意事项

ES 万条以外分页检索功能实现及注意事项

背景 以 ES 存储日志，且需要对日志进行分页检索，当数据量过大时，就面临 ES 万条以外的数据检索问题，如何利用滚动检索实现这个需求呢？本文介绍 ES 分页检索万条以外的数据实现方法及注意事项。 需求分析 用 ES 存储数…
阅读更多...
二十二、数组（5）

二十二、数组（5）

本章概要 数组元素修改数组并行Arrays 工具类数组拷贝数组比较流和数组 数组元素修改 传递给 Arrays.setAll() 的生成器函数可以使用它接收到的数组索引修改现有的数组元素: ModifyExisting.java import java.util.Arrays;import static com.example.test.ArrayShow.show;pu…
阅读更多...
vivado产生报告阅读分析17-时序报告13

vivado产生报告阅读分析17-时序报告13

CDC 拓扑结构的简化板级原理图 以下部分展示了 CDC 拓扑结构的简化板级原理图以及简要说明。在所有板级原理图中 ， 源时钟信号线 （ 通常为 clk_a） 以蓝色高亮 ， 目标时钟信号线 （ 通常为 clk_b ） 以橙色…
阅读更多...
Leaflet结合Echarts实现迁徙图

Leaflet结合Echarts实现迁徙图

效果图如下&#xff1a; <!DOCTYPE html> <html><head><title>Leaflet结合Echarts4实现迁徙图</title><meta charset"utf-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0">…
阅读更多...
虚拟机VMware上安装Ubuntu系统（详细图文教程）

虚拟机VMware上安装Ubuntu系统（详细图文教程）

关于虚拟机VMware的安装教程&#xff0c;学者看我另外一篇博客&#xff1a;VMware详细安装教程 目录 一、Ubuntn系统准备二、VMware上安装Ubuntn系统2.1 答疑 三、导入Ubuntu系统四、总结 一、Ubuntn系统准备 先下载好Ubuntn系统&#xff0c;这里我提供一个&#xff0c;下载链…
阅读更多...
蓝桥杯物联网竞赛_STM32L071_2_继电器控制

蓝桥杯物联网竞赛_STM32L071_2_继电器控制

CubeMX配置&#xff1a; Function.c及Function.h&#xff1a; #include "Function.h" #include "gpio.h" void Function_LD5_ON(void){HAL_GPIO_WritePin(LD5_GPIO_Port, LD5_Pin, GPIO_PIN_RESET); }void Function_LD5_OFF(void){HAL_GPIO_WritePin(LD5_…
阅读更多...
如何使用Fiddler进行弱网测试

如何使用Fiddler进行弱网测试

测试APP、web经常需要用到弱网测试&#xff0c;也就是在信号差、网络慢的情况下进行测试。我们自己平常在使用手机APP时&#xff0c;在地铁、电梯、车库等场景经常会遇到会话中断、超时等情况&#xff0c;这种就属于弱网。 普通的弱网测试可以选择第三方工具对带宽、丢包、延时…
阅读更多...
unity3d背景音乐循环播放

unity3d背景音乐循环播放

音频组件勾选loop
阅读更多...
DAOS低时延与高性能RDMA网络

DAOS低时延与高性能RDMA网络

什么是RDMA RDMA&#xff08;Remote Direct Memory Access&#xff09;远程直接内存访问是一种技术&#xff0c;它使两台联网的计算机能够在主内存中交换数据&#xff0c;而无需依赖任何一台计算机的处理器、缓存或操作系统。与基于本地的直接内存访问 ( DMA ) 一样&#xff0c…
阅读更多...
使用 PowerShell 中的命令来删除共享目录

使用 PowerShell 中的命令来删除共享目录

Remove-SmbShare -Name "ShareName" 请将 "ShareName" 替换为您要删除的实际共享目录的名称。 请注意&#xff0c;执行此命令需要具有适当的权限。确保您以管理员身份运行 PowerShell 或具有足够的权限来删除共享目录。
阅读更多...
AMESim|学习记录

AMESim|学习记录

此文记录AMESim学习过程中的各种情况。 目录 01 王佳. AUV 浮力调节系统设计及控制策略研究[D]. 天津大学, 2017.01 王佳. AUV 浮力调节系统设计及控制策略研究[D]. 天津大学, 2017. 01 王佳. AUV 浮力调节系统设计及控制策略研究[D]. 天津大学, 2017. 开始步入正文 01 王佳.…
阅读更多...
SQLite3 数据库学习（六）：Qt 嵌入式 Web 服务器详解

SQLite3 数据库学习（六）：Qt 嵌入式 Web 服务器详解

参考引用 SQLite 权威指南&#xff08;第二版&#xff09;SQLite3 入门 1. Apache 搭建 cgi 环境 1.1 什么是 Apache Apache 是世界使用排名第一的 Web 服务器软件 它可以运行在几乎所有广泛使用的计算机平台上&#xff0c;由于其跨平台和安全性被广泛使用 1.2 具体搭建流程…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023