【DL经典回顾】激活函数大汇总（十三）（Sinc SwiGLU附代码和详细公式）-编程知识

激活函数大汇总（十三）（Sinc & SwiGLU附代码和详细公式）

更多激活函数见激活函数大汇总列表

一、引言

欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里，激活函数扮演着不可或缺的角色，它们决定着神经元的输出，并且影响着网络的学习能力与表现力。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，本篇详细介绍两种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。

在接下来的文章中，我们将逐一探讨各种激活函数，从经典到最新的研究成果。

限于笔者水平，对于本博客存在的纰漏和错误，欢迎大家留言指正，我将不断更新。

二、Sinc

Sinc激活函数是一种在信号处理中广泛使用的函数，近年来也被探索用于深度学习模型中。它基于数学中的sinc函数，特别是在处理时间序列数据和频率分析时显示出其独特优势。

1. 数学定义

Sinc激活函数通常定义为：

$\operatorname{Sinc}(x)= \begin{cases}1 & \text { if } x=0 \\ \frac{\sin (\pi x)}{\pi x} & \text { otherwise }\end{cases}$
这里， $x$ 是激活函数的输入。
在这里插入图片描述

2. 函数特性

振荡和衰减：Sinc函数在 $x = 0$ 处取得最大值1，并随着 $x = 0$ 离开原点而振荡衰减。这种特性使得Sinc函数能够捕捉到数据中的周期性和频率信息。
带宽选择：Sinc函数的形状和衰减速度与信号的带宽选择密切相关，这在处理有限带宽信号时非常重要。
非局部性：与大多数激活函数相比，Sinc函数对输入的变化更加敏感，即使是远离原点的输入变化也能影响输出。

3. 导数

Sinc函数的导数是：

$\frac{d}{d x} \operatorname{Sinc}(x)= \begin{cases}0 & \text { if } x=0 \\ \frac{\pi x \cos (\pi x)-\sin (\pi x)}{(\pi x)^2} & \text { otherwise }\end{cases}$
导数在 $x = 0$ 处是连续的，尽管看起来像是未定义。通过洛必达法则，可以证明当 $x = 0$ 时，导数为0。

4. 使用场景与局限性

使用场景：

信号处理：在需要进行频率分析和带宽处理的信号处理应用中，Sinc激活函数能够有效地捕捉信号的周期性和频率特征。
时间序列分析：在分析和预测周期性时间序列数据时，Sinc激活函数可以帮助模型更好地理解数据的频率信息。

局限性：

梯度消失：由于Sinc函数远离原点时的振荡衰减，梯度可能变得非常小，导致梯度消失问题。
计算复杂性：Sinc函数涉及三角函数计算，相比于ReLU等简单激活函数，其计算成本更高。

5.代码实现

import numpy as npdef sinc_activation(x):"""计算Sinc激活函数的值。参数:x -- 输入值，可以是数值、NumPy数组或者多维数组。返回:Sinc激活后的结果。"""# 处理x=0的情况，以避免除以0的错误x_pi = np.pi * xresult = np.where(x == 0, 1, np.sin(x_pi) / x_pi)return result

解读

处理除以零的情况：np.where(x == 0, 1, np.sin(x_pi) / x_pi)这行代码首先检查x是否等于0。对于等于0的情况，直接返回1，这是因为根据Sinc函数的定义，当(x=0)时，函数值为1。
Sinc函数计算：对于非零的输入值，函数计算np.sin(x_pi) / x_pi，其中x_pi是输入x乘以π。这实现了Sinc函数的标准定义： $\operatorname{Sinc}(x)=\frac{\sin (\pi x)}{\pi x}$ 。
向量化操作：这个实现利用了NumPy的向量化操作能力，允许函数直接作用于整个数组，无需显式循环。这对于在深度学习模型中高效处理大量数据至关重要。

示例使用

# 创建一个从-10到10的数组
x = np.linspace(-10, 10, 100)
# 计算Sinc激活值
y = sinc_activation(x)# 使用Matplotlib绘制结果
import matplotlib.pyplot as pltplt.plot(x, y)
plt.title("Sinc Activation Function")
plt.xlabel("x")
plt.ylabel("Sinc(x)")
plt.grid(True)
plt.show()

这段代码演示了如何计算一系列输入值的Sinc激活，并使用Matplotlib绘制了Sinc函数的图像。

三、SwiGLU

SwiGLU (Swish Gated Linear Unit) 激活函数是深度学习中的一种激活函数，结合了Swish激活函数和GLU (Gated Linear Unit) 的特性。SwiGLU 旨在利用Swish的平滑非饱和性质和GLU的动态门控能力，提高模型在处理复杂数据时的表现力。尽管“SwiGLU”并非广泛认知的标准术语，这里的介绍基于其构成元素的理论基础。

1. 数学定义

考虑到SwiGLU的概念是基于Swish和GLU的结合，它的定义可能类似于：

$\operatorname{SwiGLU}(a, b)=\operatorname{Swish}(a) \odot \sigma(b)$
其中：

$a$ 和 $b$ 是相同维度的输入向量。
$\operatorname{Swish}(a)=a \cdot \sigma(a)$ ， $\sigma(a)=\frac{1}{1+e^{-a}}$ 是Sigmoid函数。
$\odot$ 表示元素乘法。
$\sigma(b)$ 是对输入(b)应用Sigmoid激活函数。