问题预览
1.梯度下降算法的作用是？
2.梯度下降如何计算线性回归的成本函数？
3.所有的成本函数都是一个形状吗？
4.在非凸形状中，梯度下降的更新过程是？
5.在非凸形状中，不同的初值对最小化成本函数的影响是？
6.什么是局部最小值？
笔记
1.梯度下降算法的作用
梯度下降算法可以计算大多数函数的最小值。
2.计算线性回归的成本函数
梯度下降可以用于最小化线性回归的成本函数。先给w，b设置初始值，一般为0，梯度下降算法不断更新w，b，如果有多个w，则不断更新每个w，直至成本函数接近或达到最小值。
3.不同成本函数的形状
不同的成本函数形状也不同，例如神经网络模型可能用到的某个成本函数，呈现多曲面非凸状。
4.梯度下降的更新过程
梯度下降算法不断更新成本函数的值，每次更新都尽量让成本函数的值下降的最快，直至局部或全局最低点。
5.不同的w，b对梯度下降的影响
在非凸形状中，w，b的初始值不同，梯度下降的起点也不同，最终计算的成本函数最小值也不同。
6.局部最小值
如上图示例，不同的w，b起始位置，会计算出不同的成本函数最小值，两个不同的最小值被称为局部最小值。
总结
梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值，借此得到最优的w，b，因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时，不断更新w，b，尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值，而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值，这取决于成本函数的具体形状。
