机器学习和深度学习 -- 李宏毅(笔记与个人理解)Day19

Day 19 Recurrent Neural Network (RNN 1)

md 发现我最近需要恶补一下vue的技术……服了(因为有两个项目要交单子了)

好吧导致我停更新两天的DL,我去如坐针毡啊!今天补上

  • Slot Filling
image-20240417121327293 image-20240417121444230 image-20240417121519336 image-20240417121636645

将词语用向量的形式来表示;

提问:中文如何处理?

image-20240417121734618

image-20240417121905590

检测不到 前面的那个词语;

提问: 为什么不把整句话输入进去?

这样应该可以,但是如果是一个很长的段落呢?把整篇文章进行encode 是不合理的

needs memory

(Elman ) Recurrent Neural Network(RNN)

image-20240417122101108 image-20240417123656586 image-20240417123715483 image-20240417124033836

把这个流程走通!!!! 一定记得走通哈

Then we have a model which can store the order

考量时间顺序的那个kaggle

提问: 如果我们的nlp呢? 有一些倒装句应该如何处理使得其语义相同?

image-20240417124457357 image-20240417124524798 image-20240417124619019

Elman & Jordan Network

image-20240417124914533

这两个图如果看不懂的话 说明没有弄懂上面的 流程

Bidirectional RNN

image-20240417125107244

检测范围较广,不仅上文, 还有下文;用来解决倒装句比较不错哈

Long short -term Memory (LSTM)

image-20240417125654762 image-20240417125731011

正常的输入和三个控制门讯号的输入

和RNN比较起来, 强化了对整体序列的记忆;并且可以 认为的通过lable 训练出需要记忆的重点序列

image-20240417133315865

内部逻辑图!需要重点掌握哦!

  • “h” 通常表示 LSTM(长短期记忆网络)的输出门中使用的激活函数。在 LSTM 单元中,输出门决定了有多少当前单元状态要输出到下一个时间步骤。这个 “h” 函数通常是一个 sigmoid 函数。
  • “g” 表示在计算新的单元状态时使用的激活函数。这个函数通常是一个能够输出较宽范围的函数,例如双曲正切函数(tanh),其输出范围是 -1 到 1。这允许网络调整其内部状态,通过结合之前的状态和当前的输入。

这里我也不明白为什么要弄两个激活函数? 是普通的network 也是两次激活函数吗?

需要注意的一点是 forget gate 的取值 ,应该交 remember gate 会好一些

image-20240417140915426 image-20240417142013463

来吧 ,整个LSTM 最重要的ppt ,走动这个ppt 你就懂了LSTM的工作原理

image-20240417142127371

如何理解LSTM和普通network的关系?

image-20240417142255783

图中的+ 代表我的输入; 小圈圈代表激活函数; 划线代表不同的weight

image-20240417144209833 image-20240417144526147 image-20240417144648400 image-20240417144751945 image-20240417144836761

太扯淡了! 好复杂的鬼东西
BUt
this is quite standard now

image-20240417144950158

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/636862.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【QT进阶】Qt http编程之http相关类的简单介绍

往期回顾 【QT进阶】Qt Web混合编程之实现ECharts数据交互动态修改-CSDN博客 【QT进阶】Qt http编程之http与https简单介绍-CSDN博客 【QT进阶】Qt http编程之后端API测试工具postman使用介绍-CSDN博客 【QT进阶】Qt http编程之http相关类QNetworkAccessManager与QNetworkReque…

如何设置unbuntu时间及同步时间

文章目录 时区时间同步与服务 时间同步的重要性Ubuntu系统中设置时间和同步时间方法一:通过图形界面设置查看当前时间设置时间和时区设置时区(假设设置为UTC):设置本地时间(例如,设置时间为2024年4月21日 1…

HTML不常用的文本标签

1.标签如下&#xff1a; 代码及相关内容 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>不常用的文…

OpenCV杂记(1):绘制OSD(cv::getTextSize, cv::putText)

1. 简述 我们使用OpenCV时&#xff0c;有时会在图像的某个位置绘制OSD信息&#xff0c;如绘制一些字符串作为指示信息。 本文将简要介绍在图像&#xff08;cv::Mat&#xff09;上绘制固定的字符串信息。 2. 使用的API &#xff08;1&#xff09;cv::getTextSize() CV_EXPORT…

网址注册流程

从选择域名到完成注册 在互联网时代&#xff0c;拥有一个独特的网址是建立个人品牌或企业形象的重要一环。然而&#xff0c;对于许多人来说&#xff0c;网址注册流程可能显得有些复杂。本文将详细介绍网址注册的全过程&#xff0c;帮助您顺利完成注册&#xff0c;拥有自己的专属…

【python】Paste Mask

学习来自【OpenCv】利用roi 掩模 将一张图片添加到另一张上 任务描述&#xff1a;提取图片A的 mask 区域&#xff0c;并粘贴到图片B上 文章目录 1 代码实现2 结果展示3 涉及到的库cv2.bitwise_notcv2.bitwise_andcv2.add 附录——获取 mask 的边界框 1 代码实现 A 图 A 图的 …

【GPTs分享】GPTs分享之Image Recreate | img2img​

简介 该GPT是一个专门用于图像编辑、重建和合并的工具。它通过详细的自动图像描述和生成&#xff0c;帮助用户从源图像中重现或修改图像。此工具设计用于为视障用户提供图像内容的详细描述&#xff0c;并生成全新的图像&#xff0c;以满足特定的视觉需求。 主要功能 \1. 图像…

深入OceanBase内部机制:资源隔离实现的方式总结

码到三十五 &#xff1a; 个人主页 心中有诗画&#xff0c;指尖舞代码&#xff0c;目光览世界&#xff0c;步履越千山&#xff0c;人间尽值得 ! 目录 1. 为何HTAP需要资源隔离2. OceanBase的资源隔离机制概述租户间资源隔离租户内资源隔离物理资源隔离大查询请求的隔离优先级…

如何批量给Word文件增加前缀序号?“汇帮批量重命名”帮助你批量给word文件增加前缀序号。

批量给Word文件增加前缀序号的过程&#xff0c;对于经常处理大量文档的人来说&#xff0c;是一项既繁琐又必要的任务。首先&#xff0c;我们需要明确为什么要给Word文件增加前缀序号。在很多情况下&#xff0c;当我们需要按照一定的顺序对多个文档进行管理和归档时&#xff0c;…

书生·浦语大模型实战营Day04OpenXLab 部署

书生浦语大模型实战营Day04OpenXLab 部署 如何在 OpenXLab 部署一个 InternLM2-7B chat 的应用。 OpenXLab浦源平台介绍 OpenXLab 浦源平台以开源为核心&#xff0c;旨在构建开源开放的人工智能生态&#xff0c;促进学术成果的开放共享。OpenXLab面向 AI 研究员和开发者提供…

OpenStack 常见模块详解

目录 一、OpenStack 架构 二、控制台 Dashboard 三、身份认证服务 Keystone 1&#xff09;用户&#xff08;user&#xff09; 2&#xff09;项目&#xff08;project&#xff09; 3&#xff09;角色&#xff08;role&#xff09; 4&#xff09;服务&#xff08;serv…

iptables命令简介

正文共&#xff1a;3456 字 22 图&#xff0c;预估阅读时间&#xff1a;3 分钟 iptables/ip6tables命令&#xff0c;用于在Linux内核中设置、维护和检查IPv4和IPv6数据包过滤规则的表&#xff0c;从而实现IPv4/IPv6数据包过滤和NAT的管理工具。它可以定义多个不同的表&#xff…