(done) NLP+HMM 协作,还有维特比算法

参考视频:https://www.bilibili.com/video/BV1aP4y147gA/?p=2&spm_id_from=pageDriver&vd_source=7a1a0bc74158c6993c7355c5490fc600


(这实际上是 “序列标注任务”)
HMM 的训练和预测如下图
训练过程:我们首先先给出一个语料文本,这个语料文本每个词组都分配了一个“词性”。在训练过程中,我们会得到三个矩阵,分别是,1.初始概率矩阵 2.转移概率矩阵 3.发射矩阵
预测过程:给出 “今天的天气不错” 作为输入,发给三个矩阵,这三个矩阵最终输出一个标注序列
在这里插入图片描述

我们先来看看三个矩阵是怎么训练/计算出来的
首先是初始矩阵,我们会统计每篇文章第一个字的词性
语料库一共三句话,分别是:
1.今天 天气 真 不错 。 B E B E S B E S
2.麻辣肥牛 好吃 ! B M M E B E S
3.我 喜欢 吃 好吃 的 ! S B E S BE S S
经过统计,有两个 B 和一个 S,经过正则化,概率分别是 0.667 和 0.333
在这里插入图片描述

接下来我们看转移矩阵,我们统计每一个词性的 next property,随后画出转移矩阵
在这里插入图片描述

最后是发射矩阵,我们统计每一个词性对应的单词(字)概率,如下图
在这里插入图片描述

接下来,我们再看看得到这三个矩阵后,如何使用
这里长度为 7,一共有 4^7 条路径,我们选择其中一条最优路径作为最终结果
但这种选最优的方法的计算复杂度是随着文本长度呈指数增长的,我们需要更好的算法,比如 维特比算法
在这里插入图片描述

维特比算法:其实就是不断剪枝,每一个全连接层只保留最优的四条路径,直到最后。这样最终得到的路径只有四条。
最后在这四条里选择最优的路径
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/702264.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Doris的安装与部署】

1 集群规划和环境准备 Doris作为一款MPP架构的OLAP数据库,可以在绝大多数主流的商用服务器上运行。 1.1 环境要求 一般推荐使用Linux系统,版本要求是CentOS 7.1及以上或者Ubuntu 16.04及以上,这也是目前服务器市场最主流的操作系统。 操作…

技艺高超的魔法师:Java运算符

在Java编程的世界里,运算符是连接变量和表达式的关键纽带,它们使得程序能够执行计算、比较、赋值等一系列操作。 一,基本概念 1,运算符是什么? 运算符是操作变量的符号。 2,分类 Java中的主要运算符类…

Spring Boot实现多数据源快速入门

1.为什么需要多数据源? 多数据源既动态数据源,项目开发逐渐扩大,单个数据源、单一数据源已经无法满足需求项目的支撑需求。本文采用dynamic-datasource-spring-boot-starter实现多数据源, 主要特性 支持 数据源分组 &#xff0…

CheckStyle静态样式之道

优质博文:IT-BLOG-CN 在标准化的统一样式检查规范里,最为常用的统一样式工具是checkstyle插件,而不是国内阿里的代码规约插件。 【1】下载插件 【2】配置生效 配置生效及告警设置 【3】配置checkstyle.xml 官网地址 官网最新Releases 下面…

Node.js安装及环境配置(超详细!保姆级!!)

目录 一、进入官网地址下载安装包 二、安装程序 三、环境配置 四、测试 五、安装淘宝镜像 一、进入官网地址下载安装包 Node.js — Download Node.js (nodejs.org) 选择对应你系统的 node.js 版本,我选择的是Windows系统,64位 点击图中选项&#…

51单片机:点亮一个LED灯

1.新建工程 选择AT89C52&#xff0c;在Atmel下显示的是See Microchip 并不需要添加启动文件到文件夹中。 添加main.c文件&#xff0c;c比cpp效率高&#xff0c;.asm汇编即更底层 程序编写好后 nop(); 该函数在这个头文件里面 #include <INTRINS.H> #include <R…

ubuntu18.04 运行ur5机械臂

视觉抓取初探索1-UR5机械臂抓取仿真 - 知乎 抓取不止&#xff01;Ubuntu 18.04下UR5机械臂搭建Gazebo环境&#xff5c;开源分享_哔哩哔哩_bilibili 源码地址&#xff1a;GitHub - Geo-JTao/UR5_gripper_camera_gazebo: 在Ubantu18.04中搭建Gazebo仿真环境 遇到问题&#xff1…

Google Chrome 设备工具栏原理

1.不同预览模式 2.计算出缩放比 3.固定滚动偏移 关键代码&#xff1a; overview&#xff1a; ratioW getChildRect().width / getParentRect().width ratioH getChildRect().height / getParentRect().height maxRatio max(ratioW, ratioH) if(maxRatio < 1) return 1 …

21、G1分代回收究竟如何让传统方法黯然失色?

21.1、前文回顾 在上一篇文章中,我们详细解析了G1垃圾回收器的设计思想。其核心理念在于将内存分割为众多小的Region,并针对新生代和老年代各自分配一部分Region。在垃圾回收过程中,G1会优先挑选那些能实现最短停顿时间以及最多回收对象的Region,以尽可能确保达到预设的垃…

企业网站开发技术

随着互联网的快速发展&#xff0c;企业网站成为了企业宣传和推广的重要渠道之一。一个好的企业网站不仅可以提升企业的形象&#xff0c;还可以实现在线销售和客户服务等功能。那么&#xff0c;企业网站的开发技术有哪些呢&#xff1f;本文将从前端开发和后端开发两个方面进行讨…

InfluxDB学习之windows上安装inFluxDB

这里写目录标题 打开官网下载地址下载后解压如何启动&#xff1f;linux以及完整教程地址 打开官网下载地址 官网下载地址 如果出现注册提示&#xff0c;关闭掉就可以了&#xff0c;不用注册。下载地址就在下方。 下载后解压 解压后得到以下内容 如何启动&#xff1f; 我…

多点 Dmall x TiDB:出海多云多活架构下的 TiDB 运维实战

作者&#xff1a;多点&#xff0c;唐万民 导读 时隔 2 年&#xff0c; 在 TiDB 社区成都地区组织者冯光普老师的协助下&#xff0c;TiDB 社区线下地区活动再次来到成都。来自多点 Dmall 的国内数据库负责人唐万民老师&#xff0c;在《出海多云架构&#xff0c;多点 TiDB 运维…