过拟合
如下图左边,模型出现了过拟合现象
为了解决过拟合现象, 其中一个做法是多收集数据,如右图。
第二种做法是减少模型的特征数量,即x
第三种做法是正则化
正则化就是减少x前面的参数 w的数值, 不用消除x
正则化的梯度下降如下, 因为只是缩小了w的值,而 b的值保持不变
正则化的工作原理就是缩小参数w的值
假如 wj(1-0.0028) 那么wj就会一点点变小
神经网络
下图是神经网络基本的传递
下图是神经网络构成集型的一种方式
这里 A_in 和 W 都是代表矩阵,其中 w是两行三列
常见的激活函数g(Z)
多分类问题
前面讨论只有两种情况,这次问题是有多种类型需要分类
需要构建决策边界
SoftMax回归模型
下面的例子是当有四种分类的情况下
由此可以推出Softmax的公式如下
SoftMax的损失
左侧是逻辑回归即二元回归
右侧是 SoftMax多元回归
loss 指的是 单次 计算的损失
J 值的是整个计算过程的损失
