前馈神经网络（FFN）

• 几个线性层、激活函数、归一化层的叠加
  • 注意：归一化是在保持数据分布的前提下，将数据缩放到特定范围，方便运算。
  • 注意：标准化是让不同特征的数据保持相似的尺度，但是会改变数据的分布。
    

前馈神经网络的代码

class PositionWiseFeedForward(nn.Module):"""w2(relu(w1(layer_norm(x))+b1))+b2"""def __init__(self, d_model, d_ff, dropout=0.1):super(PositionWiseFeedForward, self).__init__()# nn.Linear是一个全连接层，它接受一个输入特征维度和一个输出特征维度作为参数。self.w_1 = nn.Linear(d_model, d_ff)self.w_2 = nn.Linear(d_ff, d_model)self.layer_norm = nn.LayerNorm(d_model, eps=1e-6)self.dropout_1 = nn.Dropout(dropout)self.relu = nn.ReLU()self.dropout_2 = nn.Dropout(dropout)def forward(self, x):inter = self.dropout_1(self.relu(self.w_1(self.layer_norm(x))))output = self.dropout_2(self.w_2(inter))return output

参考文献

1. 05 Transformer 中的前馈神经网络（FFN）的实现