人工智能基础——交叉熵与似然函数的关系

交叉熵损失函数实际上是负对数似然函数（Negative Log-Likelihood, NLL）的一种形式，具体来说，它是逻辑回归模型的似然函数取对数并加负号后得到的。

交叉熵与似然函数的关系

在逻辑回归中：

模型输出的是类别 y的条件概率：

其中 σ(z_i)是 Sigmoid 函数。

目标是通过最大化似然函数，使得模型参数 θ 能够最好地拟合数据。

1. 似然函数

似然函数定义为所有样本的联合概率：

 对每个样本的概率，分类问题可以表示为：

于是似然函数为：

 

2. 对数似然函数

取对数得到对数似然函数（Log-Likelihood, LL）：

 

3. 损失函数（交叉熵）

在模型训练中，我们最小化的是负对数似然：

 

将负对数似然取平均，就得到了交叉熵损失函数：

 

总结

• 交叉熵损失函数 是负对数似然的平均形式。
• 在逻辑回归和分类问题中，最大化似然函数等价于最小化交叉熵损失。
• 交叉熵损失用于衡量预测的分布（y^​）与实际分布（y）之间的差异。