多层感知机中的偏置(bias)项可以看作是每个神经元的一个可训练的常数项,主要区别在于:
不使用偏置时,每个神经元的输出仅由输入和权重的线性组合决定,输出形式为 y = Wx。当激活函数为线性函数(或无激活函数)时,这相当于所有决策边界必须过原点,限制了网络的表达能力。
使用偏置后,输出形式为 y = Wx + b,这让神经元可以自动调整激活的起始点或者“阈值”。偏置的存在使得模型可以更灵活地拟合数据,即使在输入为零的情况下也能激活某些神经元。
总结来说,添加偏置能增强模型的表达能力和拟合数据的灵活性,加速收敛且通常能获得更好的性能;而没有偏置则可能降低模型的拟合能力,尤其在数据存在平移偏移时效果更差。