今天介绍transformer模型的add & norm（残差连接&归一化）

add代表残差连接（Residual Connection）

残差连接是一种跳过连接,它将输入添加到网络的中间层或输出上。

**残差连接（Residual Connection）**是一种在深度神经网络中使用的连接技术，旨在解决深度神经网络训练过程中的梯度消失和表示瓶颈问题。具体来说，残差连接允许模型的某一层的输出直接跳过一层或多层，作为后续层的输入。这种跳层连接的方式使得梯度可以更容易地反向传播，从而有助于训练深层网络。

在残差网络中，一个或多个层的输出（称为残差）会被添加到这些层的输入中，形成所谓的残差块。通过这种方式，网络能够学习输入和输出之间的残差表示，而不是直接学习从输入到输出的完整映射。这有助于网络更容易地优化和学习复杂的函数。

残差块通常采用两种连接方式:
1)恒等映射:y = x + F(x)
2)投影映射:y = x + F(x) * W,其中W是一个可学习的1x1卷积

norm = Normalization归一化

在transformer里面，使用layer normalization。

具体参看：

Transformer模型-Normalization归一化的简明介绍-CSDN博客https://blog.csdn.net/ank1983/article/details/137398706

add&norm在transformer的每个子层都出现：

• add增加残差连接，可以增加深度，不丢失初始的特征。
• norm归一化，因为把原始的特征加回来，避免梯度消失，减少运算，进行归一化处理。

​