【吴恩达机器学习65-67】

1. 多分类问题的定义

1. classification问题可能的output大于2种。
   

2. multiclass的预测图像可能是右侧这样的。

2. softmax

1. softmax regression算法是logistic regression的泛化（通用化）。【binary classification ----> multiclass】

2. 对于logistic regression来说y=1和y=0的概率和等于1。a2=1-a1。

3. 对于softmax regression来说，a1…的计算如图右。a1+a2+a3+a4 = 1。
   

4. 接下来了解softmax regression的cost function。

5. 看图像可知，当aj值越靠近1，loss越小。那么我们要minimize loss就让aj尽可能大。

6. 注意，y值只能去一个，所以loss函数只会对应一个-logaj。

3. 神经网络的softmax输出

1. 这一小节，将softmax放进nueral network模型的output layer。可以训练multiclass classification的neural network模型。
2. 如果相见手写数字的预测从是不是1，到预测数字是属于0-9的哪个，那么我们就会有10个可能的output。【那么output layer的神经元会从1个变成10个。】
3. 第一第二层的计算都是不变的，第三层的计算有所改变。

4. 这里使用的是sparse categorical cross entropy的loss function。
【不建议使用这个版本的code。】