损失函数与代价函数的概念与区别

损失函数

损失函数定义了单个样本预测值与真实值之间的误差。它是一个针对单一数据点进行评估的指标，用来度量在特定样本上模型的表现好坏。

常见的损失函数包括均方误差(MSE)，交叉熵(Cross-Entropy)。MSE常用于回归问题，Cross-Entropy常用于分类问题。

代价函数

代价函数，有时也被称为目标函数，是在整个训练集上评估模型性能的标准。它通常是损失函数在所有训练样本上的平均值，提供了一个全局视角来观察模型在整个数据集上的表现。

损失函数与代价函数的区别

损失函数与代价函数的区别在于它们衡量误差的粒度不同：

1. 损失函数关注于模型在单个样本上的表现；
2. 代价函数衡量模型在整个训练集上的平均表现；

参考链接1