深度学习常见激活函数：ReLU，sigmoid，Tanh，softmax，Leaky ReLU，PReLU，ELU整理集合，应用场景选择

文章目录

  • 1、ReLU 函数（隐藏层中是一个常用的默认选择）
    • 1.1 优点
    • 1.2 缺点
  • 2、sigmoid 函数
    • 2.1 优点
    • 2.2 缺点
  • 3、Tanh 函数
    • 3.1 优点
    • 3.2 缺点
  • 4、softmax 函数（多分类任务最后一层都会使用）
  • 5、Leaky ReLU 函数
    • 5.1 优点
    • 5.2 缺点
  • 6、PReLU 函数
  • 7、ELU 函数
  • 搭建神经网络，应该如何选择激活函数？
  • 总结

1、ReLU 函数（隐藏层中是一个常用的默认选择）

整流线性单元（Rectified linear unit，ReLU） 是现代神经网络中最常用的激活函数，大多数前馈神经网络默认使用的激活函数，它提供了一种非常简单的非线性变换。给定元素 x，ReLU 函数被定义为该元素与 0 的最大值。ReLU函数定义如下：
在这里插入图片描述
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义ReLU函数
def relu(x):return np.maximum(0, x)# 生成一些输入值，这里可以设置成其他的数值
x_values = np.linspace(-5, 5, 100)# 计算对应的ReLU输出值
y_values = relu(x_values)# 绘制ReLU函数的图像
plt.plot(x_values, y_values, label='ReLU Function')
plt.title('ReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color = 'gray', linestyle = '--', linewidth = 0.5)
plt.legend()
plt.show()

生成图像如下：

在这里插入图片描述

1.1 优点

  • 在 x > 0 区域上，不会出现梯度饱和、梯度消失的问题，梯度永远是常量；
  • 它在训练神经网络时能够加速收敛，并且计算相对简单；
  • 计算复杂度低，不需要进行指数运算，只要一个阈值就可以得到激活值。

1.2 缺点

  • 容易出现 神经元坏死现象（dead relu problem），最直观的结果就是，输入到 relu 函数中的值如果存在负数，则最终经过 relu 之后变成 0，极端情况下是输入relu的所有值全都是负数，则relu activated之后的结果均为0。
    在这里插入图片描述

产生这种现象的两个原因：参数初始化不合理；learning rate 太高导致在训练过程中参数更新太大。

2、sigmoid 函数

sigmoid 函数又称 Logistic 函数，用于隐层神经元输出，它将范围 (-inf,inf) 中的任意输入压缩到区间 (0,1) 中的某个值，可以用来做二分类。sigmoid 函数定义如下：
在这里插入图片描述

代码：

# -*-coding:utf-8-*-
import numpy as np
import matplotlib.pyplot as plt# 定义Sigmoid函数
def sigmoid(x):return 1 / (1 + np.exp(-x))# 生成一些输入值
x_values = np.linspace(-7, 7, 200)# 计算对应的Sigmoid输出值
y_values = sigmoid(x_values)# 绘制Sigmoid函数的图像
plt.plot(x_values, y_values, label='Sigmoid Function')
plt.title('Sigmoid Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color = 'gray', linestyle = '--', linewidth = 0.5)
plt.legend()
plt.show()

生成图像如下：

在这里插入图片描述

2.1 优点

  • sigmoid 函数的输出在 (0,1) 之间，输出范围有限，优化稳定，可以用作输出层；
  • 它是个连续函数，便于求导。

2.2 缺点

  • sigmoid 函数在变量取绝对值非常大的正值或负值时会出现饱和现象，意味着函数会变得很平，并且对输入的微小改变会变得不敏感。在反向传播时，当梯度接近于0，权重基本不会更新，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
  • 计算复杂度高，因为 sigmoid 函数是指数形式。

3、Tanh 函数

Tanh 函数也称为双曲正切函数，取值范围为 (-1,1)。Tanh函数定义如下：
在这里插入图片描述

它的导数是：

在这里插入图片描述

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 tanh 函数
def tanh(x):return np.tanh(x)# 定义 tanh 函数的导数
def tanh_derivative(x):return 1 - np.tanh(x)**2# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 tanh 函数的输出值和导数值
y_tanh = tanh(x_values)
y_derivative = tanh_derivative(x_values)# 绘制 tanh 函数及其导数在同一坐标轴中的图像
plt.plot(x_values, y_tanh, label='tanh Function')
plt.plot(x_values, y_derivative, label='tanh Derivative')
plt.title('tanh Function and its Derivative')
plt.xlabel('Input')
plt.ylabel('Output / Derivative')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述
Tanh 函数图像及导数图像如上，当输入接近 0 时，Tanh 函数的导数接近最大值 1。可理解为 sigmoid 函数的变形，输入在任一方向上远离 0 点，导数越接近 0。
在这里插入图片描述

3.1 优点

  • 与 sigmoid 函数相同；

3.2 缺点

  • Tanh 仍然存在梯度饱和与 exp 计算复杂的问题。

4、softmax 函数（多分类任务最后一层都会使用）

使用 sigmoid 激活函数可以处理二分类任务，而在处理多分类问题的时，就需要使用 softmax 函数。它将一个实数向量（通常称为 logits）转换为概率分布。

输出规则： 将输入向量中的每个元素转换为一个位于 (0, 1) 之间的值，使得所有元素的和等于 1。这种转换后的好处是向量可以解释为一个概率分布，其中每个元素表示对应类别的概率。softmax 函数公式如下：

在这里插入图片描述
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 Softmax 函数
def softmax(x):exp_x = np.exp(x)return exp_x / np.sum(exp_x, axis=-1, keepdims=True)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算对应的 Softmax 输出值
y_values = softmax(x_values)# 绘制 Softmax 函数的图像
plt.plot(x_values, y_values)
plt.title('Softmax Function')
plt.xlabel('Input')
plt.ylabel('Output Probability')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.show()

生成图像如下：

在这里插入图片描述

5、Leaky ReLU 函数

渗漏整流线性单元(Leaky ReLU)，为了彻底避免 dead ReLU 现象。用一个类似 0.01 的小值来初始化神经元，从而使得 ReLU 在负数区域更偏向于激活而不是死掉。这里的斜率都是确定的，当然，这里的参数是可以调整的。

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 Leaky ReLU 函数
def leaky_relu(x, alpha=0.01):return np.maximum(alpha * x, x)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算对应的 Leaky ReLU 输出值
y_values = leaky_relu(x_values)# 绘制 Leaky ReLU 函数的图像
plt.plot(x_values, y_values, label='Leaky ReLU Function')
plt.title('Leaky ReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

5.1 优点

  • Leaky ReLU 在负数输入上有一个小的斜率，可以避免神经元“死亡”问题。

5.2 缺点

  • 尽管 Leaky ReLU 解决了某些问题，但并非总是最佳选择。在某些情况下，其他激活函数，如 Parametric ReLU 或者 Exponential Linear Unit (ELU)，可能表现更好。

6、PReLU 函数

参数整流线性单元(Parametric Rectified linear unit，PReLU)，用来解决 ReLU 带来的神经元坏死的问题。公式如下：

在这里插入图片描述
或者
在这里插入图片描述

其中，α 不是固定的超参数，通常初始化为一个小的正数，通过反向传播学习。它在输入小于零时允许一个小的斜率，而不是将其置零。
代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 PReLU 函数
def prelu(x, alpha=0.01):return np.where(x > 0, x, alpha * x)# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 PReLU 函数的输出值
y_values = prelu(x_values)# 绘制 PReLU 函数的图像
plt.plot(x_values, y_values, label='PReLU Function')
plt.title('PReLU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black',linewidth=0.5)
plt.axvline(0, color='black',linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

区别：Leaky ReLU 和 PReLU 在解决激活函数中的问题（如死亡神经元）上有一些相似之处，但 PReLU 提供了更多的灵活性。

7、ELU 函数

指数线性单元(ELU)：具有 ReLU 的优势，没有 Dead ReLU 问题，输出均值接近0，实际上 PReLU 和 Leaky ReLU 都有这一优点。有负数饱和区域，从而对噪声有一些鲁棒性。可以看做是介于 ReLU 和 Leaky ReLU 之间的一个函数。当然，这个函数也需要计算 exp，从而计算量上更大一些。公式如下：
在这里插入图片描述

代码：

import numpy as np
import matplotlib.pyplot as plt# 定义 ELU 函数
def elu(x, alpha=1.0):return np.where(x > 0, x, alpha * (np.exp(x) - 1))# 生成一些输入值
x_values = np.linspace(-5, 5, 200)# 计算 ELU 函数的输出值
y_values = elu(x_values)# 绘制 ELU 函数的图像
plt.plot(x_values, y_values, label='ELU Function')
plt.title('ELU Activation Function')
plt.xlabel('Input')
plt.ylabel('Output')
plt.axhline(0, color='black', linewidth=0.5)
plt.axvline(0, color='black', linewidth=0.5)
plt.grid(color='gray', linestyle='--', linewidth=0.5)
plt.legend()
plt.show()

生成图像如下：
在这里插入图片描述

搭建神经网络，应该如何选择激活函数？

  • 如果搭建的神经网络的层数不多，优先考虑 sigmoid、tanh、relu 函数，这些都是可以的，如果搭建的网络层数较多，选择不当会造成梯度消失的问题，此时一般不宜选择sigmoid、tanh激活函数，最好选择 relu 激活函数。
  • 在二分类问题中，网络的最后一层适合使用sigmoid激活函数；而多分类任务中，网络的最后一层使用softmax激活函数。

总结

ReLU（Rectified Linear Unit）：
优势： 计算简单，且在许多情况下表现良好。它将负数部分置为零，有助于网络稀疏性，有利于反向传播。
注意事项： 对于一些极端情况，可能存在“死神经元”问题，即某些神经元在训练过程中永远不会被激活，导致无法更新权重。

Sigmoid 函数：
优势： 将输出限制在 (0, 1) 范围内，适用于二元分类问题。
注意事项： 容易发生梯度消失的问题，尤其是在深层网络中，导致梯度较小的权重无法有效地更新。

Tanh 函数：
优势： 类似于 Sigmoid，但输出范围在 (-1, 1)。对于中心化的数据，Tanh 可能更适合。
注意事项： 仍然存在梯度消失的问题。

Softmax 函数：
优势： 用于多类别分类问题，将输出转化为概率分布。
注意事项： 对于二元分类问题，通常使用 Sigmoid 而不是 Softmax。

Leaky ReLU：
优势： 在 ReLU 的基础上解决了死神经元问题，允许小于零的斜率。
注意事项： 仍然可能存在一些负数输出。

Parametric ReLU (PReLU)：
优势： 允许负数部分有可学习的参数。
注意事项： 需要更多的计算资源。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/208274.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

java--飞翔的小鸟

java--飞翔的小鸟

游戏玩法：通过鼠标点击使小鸟上下移动穿过柱子并完成得分，小鸟碰到柱子或掉落到地面上都会结束游戏。 游戏内图片 Brid类： package bird;import org.omg.CORBA.IMP_LIMIT;import javax.imageio.ImageIO; import java.awt.image.BufferedIma…
阅读更多...
一套开源、强大且美观的WPF UI控件库 - HandyControl

一套开源、强大且美观的WPF UI控件库 - HandyControl

前言 今天给大家推荐一套开源、强大且美观的WPF UI控件库：HandyControl。 WPF介绍 WPF 是一个强大的桌面应用程序框架，用于构建具有丰富用户界面的 Windows 应用。它提供了灵活的布局、数据绑定、样式和模板、动画效果等功能，让开发者可以创…
阅读更多...
Github Copilot AI编码完成工具

Github Copilot AI编码完成工具

目录 一、GitHub Copilot 1、简介 2、工作原理 3、功能 二、GitHub Copilot X 1、什么是 GitHub Copilot X 2、GitHub Copilot X 的功能 三、支持、使用 1、支持 2、使用 四、实际研究、验证(代码方向) 1、代码生成 2、代码提示 3、生成测试用例 4、代码解释 5…
阅读更多...
frp内网穿透配置以及相关端口、过程解释

frp内网穿透配置以及相关端口、过程解释

介绍 假设现有外网笔记本、云服务器、内网工作站三台设备，希望使用外网笔记本通过云服务器转发，访问内网工作站；这里使用frp进行内网穿透。 云服务器端配置 登录腾讯轻量型云服务器控制台，开放转发端口、bind_port以及deshboad…
阅读更多...
CentOS使用docker安装OpenGauss数据库

CentOS使用docker安装OpenGauss数据库

1.搜索OpenGauss docker search opengauss 2.选择其中一个源拉取 docker pull docker.io/enmotech/opengauss 3.运行OpenGauss docker run --name opengauss --privilegedtrue --restartalways -d -e GS_USERNAMEpostgres -e GS_PASSWORDmyGauss2023 -p 5432:5432 docker.…
阅读更多...
EMG肌肉信号处理合集 (一）

EMG肌肉信号处理合集 (一）

本文归纳了常见的肌肉信号预处理流程，方便EMG信号的后续分析。使用pyemgpipeline库 来进行信号的处理。文中使用了 UC Irvine 数据库的下肢数据。 目录 1 使用wrappers 定义数据类，来进行后续的操作 2 肌电信号DC偏置去除 3 带通滤波器处理 4 对肌电…
阅读更多...
Web项目从Tomcat迁移到TongWeb

Web项目从Tomcat迁移到TongWeb

注意事项 1. 使用JNDI方式获取数据源： ①在TongWeb创建JDBC连接池; ②修改Web项目数据源配置. #spring.datasource.urljdbc:mysql://127.0.0.1:3306/demo #spring.datasource.usernametest #spring.datasource.passwordspring.datasource.jndi-namedemo2. 修…
阅读更多...
笔记本外接显示器的一些基本操作

笔记本外接显示器的一些基本操作

1>，安装问题直接问客服，正常情况是将显示屏接上电源，然后用先将显示屏和笔记本的HDMI接口连接即可。 按下组合键 win p ,选择 “复制”。 2>，接上显示屏后，原笔记本无声音？ 1、找到笔记本电脑右下…
阅读更多...
PC访问华为昇腾开发板的摸索过程

PC访问华为昇腾开发板的摸索过程

作者：朱金灿 来源：clever101的专栏 为什么大多数人学不会人工智能编程？>>> 最近要折腾华为昇腾开发板（官方名称叫：Atlas 200I DK）。先是按照官方教程折腾：Atlas200DK环境部署。我发现…
阅读更多...
黑马点评笔记 redis实现缓存

黑马点评笔记 redis实现缓存

文章目录 什么是缓存?为什么要使用缓存 如何使用缓存功能实现缓存模型和思路代码实现 缓存更新策略数据库缓存不一致解决方案代码实现 什么是缓存? 缓存(Cache),就是数据交换的缓冲区,俗称的缓存就是缓冲区内的数据,一般从数据库中获取,存储于本地代码(例如: 例1:Static fi…
阅读更多...
如何将设置为静态IP的VMware虚拟机进行克隆以便可以复刻相应的环境

如何将设置为静态IP的VMware虚拟机进行克隆以便可以复刻相应的环境

一定要关闭需要克隆的虚拟机右键要选择克隆的虚拟机，选择管理->克隆，进入克隆虚拟机向导 设定克隆出来的虚拟机名称以及位置，选择完成 克隆完成之后将会生成虚拟机，示例中生成的虚拟机为ubuntu-dev2 因为原本的虚拟机为静态ip的…
阅读更多...
微软离Altman越近，离OpenAI就越远！

微软离Altman越近，离OpenAI就越远！

大数据产业创新服务媒体 ——聚焦数据 改变商业 在OpenAI这场连续剧中（之所以说是连续剧，这个事情肯定没完，后面肯定还会出续集），让我倍感意外的是，Altman刚跟OpenAI分手，“离婚手续”都还没办…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023