第一章 神经网络是如何实现的

这些神经网络越来越复杂，都是用BP算法求解。网络有些变化就可能需要重新推导，而在实验过程中可能会做很多尝试，这样每次都重新推导BP算法太麻烦了。

十、深度学习框架

• 现在有了很多深度学习框架，这些框架是专门为搭建各种神经网络设计的，只要设计好了神经网络，框架就可以自动实现BP算法，不需要自己推导了。

常用的深度学习框架

• 很多公司设计了很多不同的框架，目前用的比较多的有TensorFlow、PyTorch、Keras等，近几年国内也推出了一些框架，比如百度公司的飞桨（paddlepaddle）、一流科技公司的OneFlow等，都是可以选用的框架。这些内容涉及很多编程的内容，而且一直在发展中。

十一、总结

神经网络应用问题

• 以一个简单的数字识别引出了什么是神经元，什么是神经网络。

• 详细介绍了神经元的结构以及全连接神经网络，并以如何调节热水器为例，讲解了神经网络训练的基本原理和BP算法。

• 介绍了神经网络训练中可能会遇到的过拟合问题、梯度消失问题，以及常用的解决方法。

• 介绍了什么是卷积神经网络，并列举了一些具体用例。

• 介绍了什么是循环神经网络，并列举了一些具体用例。

• 简单说明了深度学习框架。

十二、（补）BP算法推导

1. 反向传播（BP）算法推导

2. 复合函数求导的链式法则

3. 符号说明

4. 梯度计算 – 输出层

5. 梯度计算 – 隐藏层

6. 梯度计算

7. BP算法（随机梯度下降版）