GRU算法-编程知识

GRU算法

news/2024/11/20 19:24:03/文章来源:https://blog.csdn.net/lty1392309506/article/details/135329813

前置知识：RNN，LSTM

LSTM需要训练的参数很多，极消耗计算资源。GRU是一种LSTM的改进算法，参数更少，更容易训练。

它将忘记门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。

结构

GRU的整体结构图与RNN没有区别

reset重置门

$r_t=\sigma(W_z·[h_{t-1},x_t]+b_r)$

rt就是重置门，得到rt后，将rt与上一时刻传入的ht-1进行点乘，得到重置之后的数据，并与xt进行拼接。

$h_{t-1}^{'}=h_{t-1}*r_t \\h'=tanh(w*[h_{t-1}',x_t]+b)$

h'包含了输入信息xt，经过选择后的上一时刻的信息h't-1，

update更新门

$Z_t=\sigma(W_z·[h_{t-1},x_t]+b_z) \\h_t=z_t*h_{t-1}+(1-z_t)*h'$

z*ht-1：表示对隐藏状态选择性的遗忘；
(1-z)*h'：表示对包含当前节点信息的h'选择性的记忆

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/315498.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

WPF容器的背景对鼠标事件的影响

背景：在实现鼠标拖动窗口的过程中发现对父容器设置了鼠标拖动窗口的事件MouseLeftButtonDown private void DragWindow(object sender, MouseButtonEventArgs e) {if (e.LeftButton MouseButtonState.Pressed)DragMove(); } 问题：非常困惑的是&#x…

开发辅助三（缓存Redisson分布式锁+分页插件）

缓存缓存穿透：查询一个不存在的数据，由于缓存不命中，将大量查询数据库，但是数据库也没有此记录。没有将这次查询的null写入缓存，导致了这个不存在的数据每次请求都要到存储层查询，失去了缓存的意义。解…

机器学习（二） -- 数据预处理（1）

系列文章目录机器学习（一） -- 概述机器学习（二） -- 数据预处理（1-3） 机器学习（三） -- 特征工程（1-2） 未完待续…… 目录系列文章目录前言一、概述…

普中STM32-PZ6806L开发板(HAL库函数实现-PWM呼吸灯)

简介实现PWM呼吸灯。主芯片 STM32F103ZET6呼吸灯引脚 : PC7电路原理图 LED8 电路图 LED8 与主芯片连接图其他知识公式 PWM周期公式: Tpwm ( (ARR 1) * (PSC 1) ) / Tclk Tclk为定时器的输入时钟频率 Tout则为定时器溢出时间 ARR为计数周期 PSC为预分频器的值…

数据结构OJ实验14-哈希查找

A. DS哈希查找—线性探测再散列题目描述定义哈希函数为H(key) key%11，输入表长（大于、等于11）。输入关键字集合，用线性探测再散列构建哈希表，并查找给定关键字。输入测试次数t 每组测试数据为： …

Python序列之字典

系列文章目录 Python序列之列表Python序列之元组Python序列之字典（本篇文章）Python序列之集合 Python序列之字典系列文章目录前言一、字典是什么？二、字典的操作1.创建（1）通过{}、dict()创建（2&#xff0…

Django HttpResponse 响应对象

目录一、概述二、测试三、属性和方法四、解读 request 参数一、概述所谓 HttpRequest 响应就是服务器返回给客户端的数据，HttpRequest 由程序员自己创建，一般他们通过两种方式来创建。不使用模板，直接调用 HttpResponse()，返…

安装 nodejs 安装Node.js的最简单的方法是通过软件包管理器。 Node.js官网：https://nodejs.org/en/download/ cd /usr/local/src/wget -c https://nodejs.org/dist/v18.16.0/node-v18.16.0-linux-x64.tar.xz xz -d node-v18.16.0-linux-x64.tar.xz tar -xf node…