【迅搜19】扩展(二)TNTSearch和JiebaPHP方案

扩展(二)TNTSearch和JiebaPHP方案

搜索引擎系列的最后一篇了。既然是最后一篇,那么我们也轻松一点,直接来看一套非常有意思的纯 PHP 实现的搜索引擎及分词方案吧。这一套方案由两个组件组成,一个叫 TNTSearch ,另一个则是大名鼎鼎的结巴分词的 PHP 版本。它们都是纯 PHP 实现的,非常轻量级的搜索引擎和分词工具,最主要的是,如果各位大佬有兴趣,可以深入学习它们的源码。之前就一直在强调,所有的原理都是相通的,通过对这两个组件的学习,其实就能清楚 Xapian 和 SCWS 也就是 XS 整个系统是怎么运行的。甚至也可以说,就能了解到 ES 和 IK 是大致是怎么运行的了。

TNTSearch 与 Jieba-php 集成

这两个工具包都是开源的,直接在 GitHub 就可以下载。文档也都在它们的 Readme 文件里。

https://github.com/teamtnt/tntsearch

https://github.com/fukuball/jieba-php

对于我们 PHP 的使用来说,直接 composer 安装就好了,方便得很。

composer require teamtnt/tntsearch
composer require fukuball/jieba-php:dev-master

安装完成之后就开始写代码啦,非常非常简单,保证分分钟之内搭起你的搜索引擎应用。

require_once 'vendor/autoload.php';use TeamTNT\TNTSearch\TNTSearch;
use TeamTNT\TNTSearch\Support\AbstractTokenizer;
use TeamTNT\TNTSearch\Support\TokenizerInterface;// 自定义分词器
class JiebaTokenizer extends AbstractTokenizer implements TokenizerInterface
{public function tokenize($text,$stopwords='') {// 默认的结巴分词使用,之前我们就用过了ini_set("memory_limit", "-1");\Fukuball\Jieba\Jieba::init();\Fukuball\Jieba\Finalseg::init();return \Fukuball\Jieba\Jieba::cut($text);;}
}// 实例化 TNTSearch 对象
$tnt = new TNTSearch;
// tnt 对象加载配置信息
$tnt->loadConfig(['driver'    => 'mysql', // 驱动方式'host'      => 'localhost','database'  => 'zyblog','username'  => 'root','password'  => '123456','storage'   => './',   // 数据存储路径'tokenizer' => JiebaTokenizer::class, // 分词器'stemmer'   => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//optional,没查到这玩意是干嘛的,官网例子上带的,先复制过来吧
]);

上面这些就是我们的基础配置代码了,是不是简单到没朋友。不需要配置文件,直接在代码中配置即可。注释也都写清楚了,所以也就不多做解释啦!

索引操作

有了上面的配置之后,我们就可以开始来操作索引了。在这里要先换一个概念,那就是 TNTSearch 是有点类似于 Sphinx 这样的搜索引擎。也就说,它的数据来源是针对数据库的,或者说让数据库来做为数据源是比较方便的。

因此,它建立索引的方式也和 Sphinx 很像,直接连 MySQL 去查表建索引。

$indexer = $tnt->createIndex('zyblog');  // 创建索引
$indexer->query('SELECT * FROM zy_articles_xs_test where status = 1 limit 10;'); // 查询语句
$indexer->run(); // 执行索引操作

这样我们就初始化了一个索引项目,并且使用指定数据库中的数据填充到这个索引项目中了。

> php 19.php 
Total rows 10

执行完成后会返回插入成功的数量信息。这里我们插入了 10 条数据,是因为 TNTSearch 建立索引的速度一般般哦,并不是很快。也有可能是我并没有深入的学习,也不知道有没有别的什么更快的方式。反正如果是全部的我那300多篇文章的话,是要跑半天的。

除了这样全量的操作索引数据外,也可以进行单条或多条数据的增、删、改,这些操作非常简单,而且就和写 SQL 语句一样,非常简单,大家可以自己去 GitHub 上看下文档哈,我就不具体演示了,下面就主要再看看怎么查询数据。

检索数据

在搜索这一块,也非常简单,选择好要操作的索引,然后直接一个 search() 方法就可以了。

$tnt->selectIndex("zyblog");
$res = $tnt->search("链表", 10);
print_r($res);
// Array
// (
//     [ids] => Array
//         (
//             [0] => 4
//             [1] => 5
//             [2] => 2
//             [3] => 6
//             [4] => 7
//             [5] => 1
//             [6] => 8
//         )//     [hits] => 7
//     [docScores] => Array
//         (
//             [4] => 0.70105075187958
//             [5] => 0.69908289011992
//             [2] => 0.68591335372833
//             [6] => 0.57067991030197
//             [7] => 0.47556659191831
//             [1] => 0.35667494393873
//             [8] => 0.35667494393873
//         )//     [execution_time] => 533.8249 ms
// )

search() 方法的第一个参数是查询语句,第二个参数是返回数量,默认这个数量值是 100 。返回这么多数据?你再看看它返回的内容就知道为啥能返回这么多数据了。

TNTSearch 的搜索结果,返回的也是和 Sphinx 非常像的,它们都只是返回索引的 ID 信息。也就说,它们在底层可能连文档信息都不会存,只是存词项与文档 ID 之间的关系以及这些词项与文档的评分情况。

TNTSearch 也是实现的 BM25 评分算法。可以看到返回结果的顺序不是按 ID 排序的,现在 docScores 也有各文档的关键词评分结果。

这种搜索引擎的使用方式,就是通过检索返回的主键 ID ,再去数据库进行主键查询获取完整的数据。因为主键在数据库中有着非常好的查询性能,因此,即使上亿的量,使用主键也是非常快的。

用过 Sphinx 的小伙伴对这种查询方式一定不会陌生,而如果你之前没用过 Sphinx 也没关系,试试 TNTSearch ,如果未来有可能用到 Sphinx 了,也会马上就能上手了。

看看源码

是不是感觉打开了一扇新世界的大门呀。要说 XS ,其实是和 ES 比较像的,它们会直接存储并返回元数据信息,也就是我们具体的文档字段内容。而 TNTSearch 和 Sphinx 这种则是另一种形式的,只返回主键 ID ,而且它们都和关系型数据的关系比较好,一般直接通过非常类似操作 SQL 语句一样的方式来操作索引。

这就是工具多样性的一个体现了。但是基础原理上,它们还是一样的倒排索引引擎。根本上还是一家人。

由于是完全的 PHP 实现,其实 TNTSearch 的源码就很容易让大家看明白了。即使我没有深入的学习,但也大致了解到它是如果实现倒排索引的。TNTSearch 的倒排索引库是使用 SQLite 实现的(对应 XS 中的那些 .glass 文件,就是上节课学的)。

TNTSearch 倒排索引实现

在 TNTSearch 的 loadConfig 中,我们有一个字段是 storage ,设置的是 "./" ,也就是将数据保存在当前相对路径下。因此,你在我们的测试目录下,就会看到运行之后会生成一个叫做 zyblog 的 sqlite 文件。这个文件名也就是我们创建索引时使用 createIndex() 时传递的参数名,它正是我们的索引名。这个 SQLite 库也就是针对这个索引项目的库。直接使用 PHPStorm 就可以查看这个 SQLite 数据库里面的内容。

1472766a0c11817b63c7980e49a2bddb.png

当然,你用命令行也可以看,前提是本地已经安装了 SQLite 工具。

> sqlite3 zyblog
SQLite version 3.37.0 2021-12-09 01:34:53
Enter ".help" for usage hints.
sqlite> select * from wordlist limit 10;
1|PHP|131|19
2|数据结构|89|10
3|与|21|10
4|算法|71|10
5|1|144|10
6|在|171|10
7|学|7|2
8|和|108|10
9|的|1065|10
10|时候|35|8

是不是有点意思啊,从表名我们就能看到,它的表名和之前在 XS 中学习过的那些 .glass 文件名是很像的。wordlist 应该是分词表、doclist 应该是文档表。那么我们就来尝试一下,先在 wordlist 表中找到“链表”这个词。就是我们在上面进行检索查询时测试的那个关键词。

9f3175bc8d9c5ef95b2fdbe7f807c625.png

对应的词项表id是 456 。接下来,到 doclist 文档表中查找词项id(term_id)为 456 的数据。

cfc37dbd02f0dcd204d1ecc01cbda56b.png

看看是不是我们前面检索出来结果那几条。doc_id 对应的就是文档的 id 主键,hit_count 代表的是关键词在文档中出现的次数 TF 。这个字段和 wordlist 表中的其它字段一起做为 BM25 算法的 TF 和 IDF ,进行最终的评分计算。这一块的计算代码也是直接在 PHP 源码中的,大家可以自己找找哦。

好了,对照一下之前我们学习倒排索引原理时的那张图,看看它的实现是不是和我们讲述的概念是一模一样的。现在,你是不是能够彻底地了解到底什么是倒排索引了吧。毕竟真实的例子和源码就摆在你眼前了。

接下来,我们再看一下,它在搜索时通过这两张表的查询,完成了数据的检索。但为什么能非常快呢?这其实还是靠得数据的索引。

bd159e6a000a8f854cda34985db06bed.png

同样还是之前在倒排索引的原理时就讲过,分词之后的词项表,大部分还是通过B+树这样的存储方式来实现快速查找的。这里还需要过多解释吗?在 wordlist 中,对 term 这个字段,也就是分词词项建了个索引。然后在 doclist 中,又对 term_id 建立了索引。因此,在直接的检索过程中,这两块都是走了数据库索引的,速度是完全有保障的。

怎么样,怎么样,之前在理论中讲的东西不是侃大山吧,看到真实的实现了吧,而且是咱们各位 PHPer 们都能看懂的,PHP+SQLite 的实现。最后再归结回去,不管 XS、ES、Sphinx或者其它,只要是搜索引擎应用或中间件,最终的原理都是和这一套是类似的,但具体的实现形式以及功能和语言各有不同。

结巴的词库

说了半天引擎,分词的内容咱们也看一眼。结巴分词在 Python 领域是一哥,同时也是现在非常流行的一套分词组件。它有 PHP 的版本,也是全 PHP 实现的,简单实用。之前我们其实都已经在 XS 中用过了,另外关于分词的概念之前在 SWCS 中也讲过一些了,这里我们就是看下结巴的词库在哪里。一般来说,结巴如果是通过 composer 安装的话,那么它的默认词库是 /vendor/fukuball/jieba-php/src/dict 目录中。

858814bdaaed2302d75d99a5cb0ca32f.png

额,没啥可解释的了吧。dict.xxxx.txt 是系统的默认词库,而且全是 txt 格式的,另外还有 json 格式的,大家可以直接用文本工具打开看看。user_dict.txt 肯定是我们的自定义词库啦,stop_words.txt 是停用词库。和 SCWS 以及 IK 的命名都是非常接近甚至一样的。

另外还要说一点,正是由于结巴使用的是 txt 格式词库,虽说看着大小不大,但在程序加载及运行过程中,结巴对于内存的需求非常大。所以在使用结巴时,我都会给代码前加上一行。

ini_set("memory_limit", "-1");

也就是不限制内存使用,否则可能报出内存溢出的错误。这也是结巴 PHP 版本比较让人诟病的一点。也许也有其它的解决方案或者参数方法可以使用,反正我是没有继续深入研究了,有兴趣的小伙伴可以继续深入学习。

框架集成

在 Laravel 的官方组件中,也有自带的一套全文检索组件,叫做 Laravel Scout 。不知道小伙伴们用过没有,反正我是没用过,为啥呢?它自带的驱动,也就是官方指定的搜索引擎完全就没听过,可能在老外那边比较流行吧。

当然,通过在 packagist 中搜索,也能找到直接集成 TNTSearch 到 Laravel Scout 的组件。而且还有我们国内的大佬,直接把各种中文分词器都集成好了。

40e07fe76089c6e8ec53d2a609698983.png

另外,XS、ES 与 Laravel Scout 集成的也有,只不过 XS 的 Star 就很少了,用得人不多,ES 相对来说还可以。

这个东西,怎么说呢,还是看大家的需求吧。Larvel Scout 和 Laravel 的 ORM 绑定比较深,对于 TNTSearch 和 Sphinx 这类的搜索引擎还是非常好用的,但是相对于 ES 和 XS 这类,其实它们本身就有自己非常完善的 Scheme 机制,能够非常灵活地处理数据格式,用不用框架 Model 形式的,还是大家自己权衡吧。

总结

说是介绍 TNTSearch 和 JiebaPHP ,但结果我们又借着它俩重温了一下搜索引擎和倒排索引的原理。好嘛,这波其实真不亏。关于这两个组件的内容,有兴趣的同学可以再深入源码进行学习。对于日常使用来说,小型项目,像是官网啊、小型文章CMS站啊,使用这一套方案完全没问题,而且非常简单,说实话,我在从来没用过的情况下,按官方文档的例子,总共也没超过 10 分钟就跑起来了上面的例子,真的是太方便了。

好了,整个搜索引擎系列的学习就到此为止了。你有什么收获?有什么感悟?或者有什么想说的?欢迎在任何一篇文章或者视频下面留言。接下来的旅程是什么呢?咱们拭目以待。

测试代码:

https://github.com/zhangyue0503/dev-blog/blob/master/xunsearch/source/19.php

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/413985.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于springboot+vue的免税商品优选购物商城系统(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容:毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目背景…

Ubuntu18.04在线镜像仓库配置

在线镜像仓库 1、查操作系统版本 rootubuntu:~# lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.5 LTS Release: 18.04 Codename: bionic 2、原文件备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 3、查…

浅析Redis①:命令处理核心源码分析(上)

写在前面 Redis作为我们日常工作中最常使用的缓存数据库,其重要性不言而喻,作为普调开发者,我们在日常开发中使用Redis,主要聚焦于Redis的基层数据结构的命令使用,很少会有人对Redis的内部实现机制进行了解&#xff0c…

mac PyCharm 使用conda环境

1 使用conda创建虚拟环境 conda create -n test6 python3.9 -y conda activate test62 选择conda环境 本地 选择已经存在的conda环境 右下角会显示现在的环境。

推荐算法常见的评估指标

推荐算法评估指标比较复杂,可以分为离线和在线两部分。召回、粗排、精排和重排由于定位区别,其评估指标也会有一定区别,下面详细讲解。 1 召回评价体系 召回结果并不是最终推荐结果,其本质是为后续排序层服务的,故核…

高效火情监测,科技助力森林防火【数字地球开放平台】

数字地球开放平台-以卫星遥感为核心的空天信息服务开放平台 (geovisearth.com) 2019年3月30日,四川省凉山州木里县爆发了一场森林火灾,火点位于海拔3800米左右,地形险峻、坡度陡峭、谷深难以抵挡火势。在扑救的过程中,27名森林消防…

弗洛伊德循环查找算法-原理

本文灵感来自哔哩哔哩视频 视频链接: 弗洛伊德循环查找算法 算法代码(java) package rain;class ListNode {int value;ListNode next;public ListNode(int value) {this.value value;this.next null;}Overridepublic String toString() {return "ListNode{" &q…

linux|操作系统|centos7物理机安装网卡驱动8188gu(内核升级,firmware固件,USB设备管理,module管理)

前言: 目前服务器领域centos7基本是主流的操作系统,而linux相对于Windows来说,软硬件方面的支持是差很多的,在硬件方面来说,以一个免驱的网卡为例,window xp可能不会自动识别到,但Windows10基本…

SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用

SqlAlchemy使用教程(一) 原理与环境搭建SqlAlchemy使用教程(二) 入门示例及编程步骤SqlAlchemy使用教程(三) CoreAPI访问与操作数据库详解SqlAlchemy使用教程(四) MetaData 与 SQL Express Language 的使用SqlAlchemy使用教程(五) ORM API 编程入门 四、Database MetaData 与 S…

Vue3使用

1、列表实现 <el-table :data"tableData" border style"width: 100%" selection-change"handleSelectionChange" :header-cell-style"{text-align:center}"><el-table-column type"selection" width"55"…

Debian系统写Mysql时中文出现乱码无法定入的问题解决方案

原因是操作系统可能精简安装&#xff0c;没有GBK字符集&#xff0c;只有UTF8在转换或使用的时候有问题。 使用locale -a查看系统支持的字符集。正常的比较全的字符集的操作系统如下&#xff1a; 有问题的操作系统字符集如下&#xff1a; 解决方案&#xff1a; 步骤1&#…

shell编程-3

文章目录 shell学习第三天while 循环第一天的小游戏练习: 编写抽同学回答问题的脚本要想让这个脚本永久有效如何知道两个文件里的内存一样&#xff1f;如何判断某个人已经抽过了 文本处理相关命令seqxargsuniqsorttrcutawkpastesplitcoljoin小结一下作业 小知识点写脚本的流程怎…