当涉及到优化器时，我们通常是在解决一个参数优化问题，也就是寻找能够使损失函数最小化的一组参数。当我们在无脑用adam时，有没有斟酌过用这个是否合适，或者说凭经验能够有目的性换用不同的优化器？是否用其他的优化器可以更好的解决问题？那我就介绍解释几种常用的优化器的基本原理：
-
随机梯度下降（SGD）：
SGD 是最基本的优化算法之一。它通过计算当前位置的梯度（即损失函数对参数的导数），然后朝着梯度的反方向更新参数。数学上可以表示为：
w = w − α ⋅ ∇ J ( w ) w=w−α⋅∇J(w) w=w−α⋅∇J(w)
其中， w w w 是待优化的参数， α \alpha α 是学习率， ∇ J ( w ) \nabla J(w) ∇J(w) 是损失函数关于参数的梯度。
-
动量优化器（Momentum）：
Momentum 在 SGD 的基础上引入了动量项，它可以理解为模拟物体在空间中运动的物理量。这个动量项会考虑之前的更新，从而使更新方向在一定程度上保持一致。数学上可以表示为：
v = β ⋅ v + ( 1 − β ) ⋅ ∇ J ( w ) v=\beta⋅v+(1−\beta)⋅ \nabla J(w) v=β⋅v+(1−β)⋅∇J(w)
w = w − α ⋅ v w=w−α⋅v w=w−α⋅v
其中， v v v 是动量， β \beta β 是动量因子，控制之前更新的影响程度。
-
AdaGrad：
AdaGrad 是自适应学习率的一种算法。它会根据参数的历史梯度调整学习率，使得对于稀疏数据来说可以使用一个更大的学习率，而对于频繁出现的数据则会使用较小的学习率。数学上可以表示为：
w = w − α G + ϵ ⋅ ∇ J ( w ) w = w - \frac{\alpha}{\sqrt{G + \epsilon}} \cdot \nabla J(w) w=w−G+ϵα⋅∇J(w)
其中， G G G 是梯度的平方和的累积， ϵ \epsilon ϵ 是一个很小的数，防止除零错误。
-
RMSprop：
RMSprop 是 AdaGrad 的一个变体，它引入了一个衰减系数 β \beta β，用来控制历史梯度的权重。这使得 RMSprop 更加平滑地调整学习率。数学上可以表示为：
G = β ⋅ G + ( 1 − β ) ⋅ ( ∇ J ( w ) ) 2 G = \beta \cdot G + (1 - \beta) \cdot (\nabla J(w))^2 G=β⋅G+(1−β)⋅(∇J(w))2
w = w − α G + ϵ ⋅ ∇ J ( w ) w = w - \frac{\alpha}{\sqrt{G + \epsilon}} \cdot \nabla J(w) w=w−G+ϵα⋅∇J(w)
其中， G G G 是平方梯度的指数加权移动平均。
-
Adam：
Adam 结合了 Momentum 和 RMSprop 的特性，是一种同时考虑动量和自适应学习率的优化器。它可以动态地调整每个参数的学习率，并且可以保持更新方向的一致性。Adam 还引入了偏差修正，以解决初始训练时的偏差问题。数学上可以表示为：
m = β 1 ⋅ m + ( 1 − β 1 ) ⋅ ∇ J ( w ) m = \beta_1 \cdot m + (1 - \beta_1) \cdot \nabla J(w) m=β1⋅m+(1−β1)⋅∇J(w)
v = β 2 ⋅ v + ( 1 − β 2 ) ⋅ ( ∇ J ( w ) ) 2 v = \beta_2 \cdot v + (1 - \beta_2) \cdot (\nabla J(w))^2 v=β2⋅v+(1−β2)⋅(∇J(w))2
m ^ = m 1 − β 1 t \hat{m} = \frac{m}{1 - \beta_1^t} m^=1−β1tm
v ^ = v 1 − β 2 t \hat{v} = \frac{v}{1 - \beta_2^t} v^=1−β2tv
w = w − α v ^ + ϵ ⋅ m ^ w = w - \frac{\alpha}{\sqrt{\hat{v} + \epsilon}} \cdot \hat{m} w=w−v^+ϵα⋅m^
其中， m m m 和 v v v 分别是动量和平方梯度的移动平均， β 1 \beta_1 β1 和 β 2 \beta_2 β2 是衰减系数， t t t 是当前迭代次数， ϵ \epsilon ϵ 是避免除零错误的小数。
其实，每种优化器都有其适用的场景，具体的选择需要根据问题的特性和实际实验的结果来决定。
如果你真的对优化器的数学原理不感冒，只是一个最小白的神经网络构建者，那么我尝试总结几条，最浅显易懂的优化器特征，以供查阅：
-
随机梯度下降（SGD）：这是最基本的优化算法之一，它在每个训练步骤中沿着梯度的反方向更新权重。它有时候可能需要更多的调参工作来获得好的性能。
-
动量优化器（Momentum）：当需要考虑前一次梯度调整对后续修正的影响时，这个方法不错。Momentum 的参数 momentum 控制了之前梯度的影响程度，一般取值在 0.8 到 0.9 之间。
-
Adagrad：Adagrad 会为不经常更新的参数提供更大的学习率，适合处理稀疏数据。
-
RMSprop：与 Adam 类似，RMSprop 也是自适应学习率的一种算法。在一些情况下，它可能会比 Adam 更好。
-
Adam：Adam 通过自适应调整学习率来提高训练效率。它通常对于大多数问题都是一个良好的默认选择。
-
Adadelta：Adadelta 是一种自适应学习率的优化器，可以自动调整学习率。
-
Nadam：Nadam 是结合了 Nesterov 动量的 Adam 变体，通常在训练深度神经网络时表现良好。
-
FTRL：FTRL 是针对线性模型优化的一种算法，对于大规模线性模型可以很有效。
联系我 交流请署名👇
