- 为什么需要模型评估
- 我们可以借助图像来判断模型是否良好。
- 但当我们用单一特征来绘制f(x)图像时,模型容易出现过拟合现象。但如果增加一些输入特征的种类,绘制图像又会变得很困难。而模型评估可以解决这一痛点。
- 模型评估
- 通常我们将数据集的一大半设为训练集,一小半设为测试集。mtrain表示训练样例的个数,mtest表示测试样例的个数。
- 对线性回归模型,我们可以用带正则化项的成本函数来得到使成本函数最小的w、b
- 可以通过不带正则化项,且数据为测试集来得到模型是否在新数据上表现良好,即不过拟合,能很好的泛化新数据
- 可以通过不带正则化项,且数据为训练集来得到模型是否在训练集上表现良好
- 上图为线性回归模型过拟合的Jtrain、Jtest图像,它虽然能很好的拟合训练集,即Jtrain的值很小,但不能很好的拟合测试集,即Jtest的值很大
- 对逻辑回归模型,依然可以使用带正则化项的成本函数来得到使成本函数最小的w、b
- 用Jtest、Jtrain来判断模型对测试集和训练集是否拟合良好,而Jtest、Jtrain仍然不带正则化项
- 对于逻辑回归模型,还有一种方法用来判断模型是否对测试集和训练集拟合良好
- 分别计算Jtrain、Jtest对训练集和测试集分类错误的比例,并用此来判断模型是否拟合良好