文章目录
- 1. 多分类问题的定义
- 2. softmax
- 3. 神经网络的softmax输出
【吴恩达机器学习65-67】
1. 多分类问题的定义
-
classification问题可能的output大于2种。
-
multiclass的预测图像可能是右侧这样的。
2. softmax
-
softmax regression算法是logistic regression的泛化(通用化)。【binary classification ----> multiclass】
-
对于logistic regression来说y=1和y=0的概率和等于1。a2=1-a1。
-
对于softmax regression来说,a1…的计算如图右。a1+a2+a3+a4 = 1。
-
接下来了解softmax regression的cost function。
-
看图像可知,当aj值越靠近1,loss越小。那么我们要minimize loss就让aj尽可能大。
-
注意,y值只能去一个,所以loss函数只会对应一个-logaj。
3. 神经网络的softmax输出
- 这一小节,将softmax放进nueral network模型的output layer。可以训练multiclass classification的neural network模型。
- 如果相见手写数字的预测从是不是1,到预测数字是属于0-9的哪个,那么我们就会有10个可能的output。【那么output layer的神经元会从1个变成10个。】
- 第一第二层的计算都是不变的,第三层的计算有所改变。
4. 这里使用的是sparse categorical cross entropy的loss function。
【不建议使用这个版本的code。】