【期末复习向】n元gram的应用

n =1 时, 即出现 i 的基 w i 立于 一元文法也 uni-gram monogram;
n =2 , 2-gram ( bi-gram ) 被称 1 可夫 链;
n =3 , 3-gram( tri-gram ) 被称为 2 阶马尔 次类推。
例如:
给定句子 John read a book
增加标记 <BOS> John read a book <EOS>
一元 <BOS>, John, read, a, book, <EOS
二元(<BOS>John), (John read), (read a),   (a book), (book <EOS>)
三元:(<BOS>John read), (John read a),   (read a book), (a book <EOS>
基于2元文法的概率是:
p(John read a book) =
p(John |<BOS>p(read|John)× p(a|read)×  p(book|a)× p( <EOS>|book)

 n元文法的应用:1.音字转换2.汉字分词等。

一个常考的应用:求句子的概率。会给定几个句子,对其进行分词后,重新给定一个句子求其出现的概率。

例如给定上面的句子,求一个新的句子“他是研究生物的”出现概率。那么解决这种问题的步骤:

1.分别统计几个句子分词后每个词出现的次数

2.把新的句子分词后求概率:

P(s) = P(他|<*BOS*>)P(是|他)P(研究|是)P(生物|研究)P(的|生物)P(<*EOS*>|的)

 3.根据2元文法模型,计算每个概率。计算方法是前一个词在后一个词出现的基础上出现的次数/后一个词出现的总次数。

P(s) = P(他|<*BOS*>)P(是|他)P(研究|是)P(生物|研究)P(的|生物)P(<*EOS*>|的)

= 3/6 * 1/4 * 2/3 * 3/4 * 3/5 * 3/4

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/277809.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

平面腔体谐振计算与仿真

PCB的电源网络是由电介质材料隔开的两个平行金属板所组成&#xff0c;可以通过以下的3种方法对其谐振模式进行分析&#xff1a; 1. 基于腔体模型的计算&#xff1b; 2. 基于SPICE等效电路&#xff1b; 3. 基于全波数值电磁算法的3D模型。 设计得当的前提下&#xff0c;上述3种方…

win10上使用pyinstaller工具打包python后在win7无法运行(运行报错)

问题现象 win10中使用pyinstaller工具打包python为exe后&#xff0c;在win7上运行报错&#xff1a; 无法启动此程序&#xff0c;因为计算机中丢失api-ms-win-crt-process-l1-1-0.dll。尝试重新安装该程序以解决此问题。或 无法启动此程序&#xff0c;因为计算机中丢失api-ms…

保障线程安全性:构建可靠的多线程应用

目录 引言 为什么线程安全性如此重要&#xff1f; 1. 竞态条件&#xff08;Race Conditions&#xff09; 2. 死锁&#xff08;Deadlocks&#xff09; 3. 数据竞争&#xff08;Data Races&#xff09; 4. 内存可见性&#xff08;Memory Visibility&#xff09; 面临的挑战…

vue3 使用antd 报错Uncaught TypeError--【已解决】

问题现象 使用最基本的 ant-design-vue 按钮demo 都报错 报错文字如下 Uncaught TypeError: Cannot read properties of undefined (reading value)at ReactiveEffect.fn (ant-design-vue.js?v597f5366:6693:87)at ReactiveEffect.run (chunk-K2VKR2AM.js?v25c381c3:461:…

分类预测 | GASF-CNN格拉姆角场-卷积神经网络的数据分类预测

分类预测 | GASF-CNN格拉姆角场-卷积神经网络的数据分类预测 目录 分类预测 | GASF-CNN格拉姆角场-卷积神经网络的数据分类预测分类效果基本描述模型描述程序设计参考资料 分类效果 基本描述 1.GASF-CNN格拉姆角场-卷积神经网络的数据分类预测&#xff08;完整源码和数据) 2.自…

《数据结构、算法与应用C++语言描述》- 构建哈夫曼树

哈夫曼树 完整可编译运行代码见&#xff1a;Github::Data-Structures-Algorithms-and-Applications/_29huffmanTree 定长编码与可变长编码 定长编码 每个字符都用固定长度的编码来表示。 例如假设一个文本是由字符 a、u、x 和 z 组成的字符串&#xff0c;每个字符用2位二进…

使用Python实现对word的批量操作

Python在平时写写小工具真是方便快捷&#xff0c;Pyhon大法好。以下所有代码都是找了好多网上的大佬分享的代码按照自己的需求改的。 调用的库为Python-docx、win32com、PyPDF2、xlwings&#xff08;操作excel&#xff09;。 因为公司的任务要对上千个word文件进行批量操作&a…

3小时快速入门自动化测试 —— Selenium测试工具

自动化测试 自动化测试简单来说就是利用自动化测试工具和自动化测试脚本来完成指定的测试任务&#xff0c;测试启动过程无需人工参与&#xff0c;但自动化测试之前的准备工作需要人工手动配置好。它是一种将重复性、繁琐的测试任务交给计算机自动执行的方法&#xff0c;能够显…

设施设备二维码巡检卡制作教程

通过凡尔码平台给每个设备生成对应的二维码&#xff0c;取代传统纸质巡检卡&#xff0c;微信扫码即可查看设备基本信息、填写设备日常检查记录&#xff0c;记录自动汇总后台&#xff0c;随时登录后台查看和导出数据&#xff0c;管理人员绑定凡尔码小程序即可随时了解设备巡检完…

第P7周:咖啡豆识别(VGG-16复现)

>- **&#x1f368; 本文为[&#x1f517;365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA) 中的学习记录博客** >- **&#x1f356; 原作者&#xff1a;[K同学啊 | 接辅导、项目定制](https://mtyjkh.blog.csdn.net/)** 一、前期工作 import …

MFC画折线图,基于x64系统

由于项目的需要&#xff0c;需要画一个折线图。 传统的Teechart、MSChart、HighSpeedChart一般是只能配置在x86系统下&#xff0c;等到使用x64系统下运行就是会报出不知名的错误&#xff0c;这个地方让人很苦恼。 我在进行配置的过程之中&#xff0c;使用Teechart将x86配置好…

【Qt5】ui文件最后会变成头文件

2023年12月14日&#xff0c;周四下午 我也是今天下午偶然间发现这个的 在使用Qt的uic&#xff08;User Interface Compiler&#xff09;工具编译ui文件时&#xff0c;会生成对应的头文件。 在Qt中&#xff0c;ui文件是用于描述用户界面的XML文件&#xff0c;而头文件是用于在…