神经网络:
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
f为激活(响应)函数:
理想激活函数是阶跃函数,0表示抑制神经元而1表示激活神经元。
多层前馈网络结构:
BP(误差逆传播算法):
BP算法基于梯度下降策略,以目标的负梯度方向对参数进行调整
支持向量机基本型:
特征空间的映射:
如果原始空间是有限维(属性数有限),那么一定存在一个高维特征空间使样本线性可分
核函数:
任何一个核函数,都隐式地定义了一个RKHS(再生核希尔伯特空间)
如何使用SVM:
允许模型输出与实际输出间存在极小的差别,落入极小的间隔带的样本不计算损失
贝叶斯决策论:
被称为贝叶斯最优分类器,其总体风险成为贝叶斯风险
生成式与判别模型: