6.1 逻辑斯蒂回归模型

对数似然函数是凸函数的原因：
我们只用证明其二阶导（海塞矩阵）是半正定矩阵就好了
如果我们不化简，直接像下面这么求，就可以求得很快
逻辑斯蒂回归的损失函数（负对数似然）为：

\[L(\theta) = -\sum_{i=1}^n \left[ y_i \log(\sigma(\theta^T x_i)) + (1 - y_i) \log(1 - \sigma(\theta^T x_i)) \right] \]

其中，\(\sigma(z) = \frac{1}{1 + e^{-z}}\) 是 \(\text{sigmoid}\) 函数。

• 一阶导数（梯度）：
  \[\nabla L(\theta) = \sum_{i=1}^n \left( \sigma(\theta^T x_i) - y_i \right) x_i \]

• 二阶导数（Hessian 矩阵）：
  \[H(\theta) = \sum_{i=1}^n \sigma(\theta^T x_i)(1 - \sigma(\theta^T x_i)) x_i x_i^T \]
  由于 \(\sigma(z)(1 - \sigma(z)) > 0\)（\(\text{sigmoid}\) 函数的导数性质），且 \(x_i x_i^T\) 是半正定矩阵，因此 Hessian 矩阵是半正定矩阵的加权和（权重均为正数）。

如果我们要按照书上的化简之后的式子求，那么只能求\(H_{ij}\)，会发现就是上面的式子