第 7 周 12、 支持向量机(Support Vector Machines)

12.4 核函数 1

回顾我们之前讨论过可以使用高级数的多项式模型来解决无法用直线进行分隔的分类
问题：

为了获得上图所示的判定边界，我们的模型可能是${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+\cdots$的形式。

我们可以用一系列的新的特征 f 来替换模型中的每一项。例如令： $f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2...$得到ℎ𝜃(𝑥) = ${\theta }_1{f}_1+{\theta }_2{f}_2+...+{\theta }_n{f}_n$。然而，除了对原有的特征进行组合以外，有没有更好的方法来构造𝑓1, 𝑓2, 𝑓3？我们可以利用核函数来计算出新的特征。

给定一个训练实例 𝑥 ，我们利用 𝑥 的各个特征与我们预先选定的地标(landmarks)$l^{(1)},l^{(2)},l^{(3)}$的近似程度来选取新的特征$f_1,f_2,f_3$。

上例中的𝑠𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦($x,l^{(1)}$)就是核函数，具体而言，这里是一个高斯核函数(Gaussian Kernel)。注：这个函数与正态分布没什么实际上的关系，只是看上去像而已。

这些地标的作用是什么？如果一个训练实例𝑥与地标𝐿之间的距离近似于 0，则新特征 f 近似于$e^{-0}=1$，如果训练实例𝑥与地标𝐿之间距离较远，则𝑓近似于$e^{-(一个较大的数)}$= 0。
假设我们的训练实例含有两个特征[$x_1{x}_2$]，给定地标$l^{(1)}$与不同的𝜎值，见下图：

图中水平面的坐标为 $x_1，x_2$而垂直坐标轴代表𝑓。可以看出，只有当𝑥与$l^{(1)}$重合时f才具有最大值。随着𝑥的改变𝑓值改变的速率受到${\sigma }^2$的控制。

在下图中，当实例处于洋红色的点位置处，因为其离$l^{(1)}$更近，但是离$l^{(2)}$和$l^{(3)}$较远，因此$f_1$接近 1，而$f_2,f_3$接近 0。因此ℎ𝜃(𝑥) = θ_0 + θ_1f_1 + θ_2f_2 +θ_3f_3 > 0，因此预测𝑦 = 1。同理可以求出，对于离l^{(2)}$较近的绿色点，也预测𝑦 = 1，但是对于蓝绿色的点，因为其离三个地标都较远，预测𝑦 = 0。

这样，图中红色的封闭曲线所表示的范围，便是我们依据一个单一的训练实例和我们选取的地标所得出的判定边界，在预测时，我们采用的特征不是训练实例本身的特征，而是通过核函数计算出的新特征$f_1,f_2,f_3$。