补充一下迁移学习
迁移学习用微调比较多。比如我们按照图像分类去训练了一个神经网络，但是我们现在想要将这个神经网络运用在\(X\)光图像识别上。这就是迁移学习
方法：
- 我们的新数据（指的是\(X\)光图片）不多
- 微调（fine tuning）神经网络的最后一层即可，也就是将最后一层的参数重新初始化并训练（当然还可以选择在最后一层后面再加若干层，然后一起训练了）。由于其它层的参数没有被重新训练，所以称之前用图像分类数据集训练的过程叫做预训练（pre-tuning）。
- 我们的新数据（指的是\(X\)光图片）很多
- 可以直接重新训练整个网络（或者数据量不多不少的时候，可以选择重新训练网络最后若干层的参数）
上面的做法适用于先前训练的数据很多，迁移过后的训练数据相对较少的情况（当然还要满足两个训练过程的输入的性质都是一样的，比如相同分辨率的图片，相同时间的音频等等），这是因为低层次的来自预训练数据的信息对迁移过后的训练过程是有帮助的。这也为我们提供了一种在数据量不够的时候的解决方案
