Elasticsearch 搜索引擎实现对文档内容进行快速检索（保姆级教程）

本文主要讲解ES如何从提取文档中提取内容（word、pdf、txt、excel等文件类型），实现快速检索文档内容实现。

特别说明一下，为什么用7.10.0版本，因为在项目中除了精确匹配的要求，也会有模糊查询（关键字是wildcard ）的场景。wildcard 这个只有 7.9 版本之后才支持 所以我推荐你使用 7.10.0。

elasticsearch,el, kibana，版本需要一致，比如elasticsearch版本是7.10.0，那么el和kibana的版本也需要是7.10.0，elasticsearch-head-master无所谓，尽量别用太低的版本。

本文实现思路

  • 一、ES下载安装运行
    • 1.下载安装ES
    • 2.修改配置，启动ES
  • 二、安装ik分词器
    • 1.什么是ik分词器
    • 2.新建ik文件夹
    • 3.解压elasticsearch-analysis-ik-7.10.0.zip
  • 三、安装Attachment
    • 1.Attachment 介绍
    • 2.安装Attachment
  • 四、安装ES可视化工具elasticsearch-head-master
    • 1.启动成功后访问：http://localhost:9100/
  • 五、定义—文本抽取管道(pipeline)
    • 1.请求地址（PUT ）：_ingest/pipeline/attachment
  • 六、创建索引
    • 1.创建索引
  • 七、插入数据
    • 1.插入数据
  • 八、查询数据
    • 1.查询数据
    • 2.多条件查询
  • 九、Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

一、ES下载安装运行

网盘包含：ES安装包、ik分词器、elasticsearch-head-master、kibana
网盘链接：https://pan.baidu.com/s/1_Vfcn0scS3vgZ2qSvc0TUw?pwd=j7f1
提取码：j7f1

在这里插入图片描述

1.下载安装ES

下载后解压文件夹，目录如图所示

在这里插入图片描述

在这里插入图片描述

2.修改配置，启动ES

进入到ES的config文件夹下，编辑 elasticsearch.yml 在末尾添加两行配置（该配置是为了不让ES进行签证认证），如果不加这两行配置，也可以去ES官网申请签证但是这个申请的签证是有试用期限的到期了还得重新申请所以我就直接给它过滤掉认证了。

http.cors.enabled: true
http.cors.allow-origin: “*”

在这里插入图片描述

这里再扩充一下后期用到的东西，现在你在自己电脑上访问ES没问题，如果外网其他电脑想连接你的ES，是需要再改一些配置的，还在在该文件里把框红的三个注释解开，不然会访问不到你的ES，因为ES默认是localhost访问，看图配置保存即可。
在这里插入图片描述

添加完配置后，进入ES的bin目录下，双击elasticsearch.bat，日志中提示started就说明启动成功啦

在这里插入图片描述

在这里插入图片描述

二、安装ik分词器

1.什么是ik分词器

ps：有人会好奇ik分词器是什么？ 主要作用就是用来分词检索，比如 “我爱中国”，会进行粗粒分词和细粒分词，粗粒分词就是 “我爱” “中国”，细粒分词“我” “爱” “中” “国”，大概就是这个意思，想继续深挖的自行百度，我这里就不过多介绍了。后面会主要讲解它的使用方式

2.新建ik文件夹

进入到 elasticsearch-7.10.0\plugins 目录下，新建一个文件夹命名为小写 “ik”，这里有一个ingest-attachment文件夹，大家会发现你们没有，对滴！先别急，因为我之前已经装过了！后面我会讲它怎么下载以及作用，目前没有不耽误你们继续跟着文章学习。

在这里插入图片描述

3.解压elasticsearch-analysis-ik-7.10.0.zip

新建完 ik 文件夹后，把网盘中下载的 elasticsearch-analysis-ik-7.10.0.zip 解压到 ik文件夹里面，解压后的内容如下（解压完可以把elasticsearch-analysis-ik-7.10.0.zip删了，删不删无所谓），到这里我们的ik分词器就完成安装了。

在这里插入图片描述

三、安装Attachment

1.Attachment 介绍

简单理解就是处理文档的插件 ingest-attachment

Attachment 插件是 Elasticsearch 中的一种插件，允许将各种二进制文件（如PDF、Word文档等）以及它们的内容索引到 Elasticsearch 中。插件使用 Apache Tika 库来解析和提取二进制文件的内容。通过使用 Attachment 插件，可以轻松地在 Elasticsearch 中建立全文搜索功能，而无需事先转换二进制文件为文本。此说明来自：https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506

2.安装Attachment

windows安装先在ES的bin目录下执行命令 安装 ngest-attachment插件，刚才不是ik文件夹同级有一个 ingest-attachment，没错！现在我们来安装它！安装完后就是一堆jar包，附图就是安装完成后的样子。

在线安装
在ES的bin目录下执行命令 安装 ngest-attachment插件

elasticsearch-plugin install ingest-attachment

在这里插入图片描述

因为我已经下载过了，所以显示的日志会跟你们不一样，正常会有一个让你输入 Y 的提示，安装看不懂的可以看这篇博主的：https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506
在这里插入图片描述

离线安装网盘链接：https://pan.baidu.com/s/1RoUrVe_voYSFxnliB6eW3Q?pwd=qkpg
提取码：qkpg
在这里插入图片描述

四、安装ES可视化工具elasticsearch-head-master

无话可说，解压进入bin目录下，运行： npm run start

1.启动成功后访问：http://localhost:9100/

在这里插入图片描述
在这里插入图片描述
安装启动完成页面
在这里插入图片描述

五、定义—文本抽取管道(pipeline)

下列复制粘贴到 elasticsearch-head-master 可视化工具的复合查询选项中

1.请求地址（PUT ）：_ingest/pipeline/attachment

{"description": "Extract attachment information","processors": [{"attachment": {"field": "content","indexed_chars": 1000000,"ignore_missing": true}},{"remove": {"field": "content"}}]
}

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3b3d497e36a1469fb06dcf02a66ad68b.png
创建管道成功提示：

{
"acknowledged": true
}

六、创建索引

这个时候就可以创建我们自定义的索引了，索引这个东西你要研究的话还是有很多东西需要学的，我这里大概就说一下怎么去用，其他方面的自行百度。
关键词：mappings
mapping是映射，对比MySQL而言，他相当于MySQL的表结构定义。
包括：设置元数据、定义存储字段的类型、分区、副本等设置
关键词：properties 就是用来指定属性，比如下列索引内容中的 file_id,file_name 对应的就是你数据库表的字段，type是类型，keyword和text是ES中的字符串类型，
在这里插入图片描述

1、ik_max_word

会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。

2、ik_smart
会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。

1.创建索引

//创建索引
请求类型：PUT
索引名称：file_data（自定义）
{"mappings": {"properties": {"file_id":{"type": "keyword"},"file_name":{"type": "text","analyzer": "ik_max_word"},"file_type":{"type": "keyword"},"file_url":{"type": "keyword"},"group_file_id":{"type": "keyword"},"file_suffix":{"type": "keyword"},"file_size":{"type": "keyword"},"file_dir_name":{"type": "keyword"},"attachment": {"properties": {"content":{"type": "text","analyzer": "ik_smart"}}}}}
}

七、插入数据

1.插入数据

POST file_data/_doc?pipeline=attachment
{"file_id":"1","file_name":"性能分析排查思路","file_type":"pdf","file_url":"http://文件存储地址:8080/xxx/docs/raw/master/性能分析与内存问题排查思考.pdf","group_file_id":"123456","file_suffix":".pdf","file_size":"33","file_dir_name":"yryy","content":"很长很长的base64内容粘贴到这了"
}

在这里插入图片描述
在这里插入图片描述

base64就是这玩意，一大长串，你给他扔content里就行了，管道会自动把base64里面的内容提取出来放到ES中，不用你再去做这些处理了。
在这里插入图片描述

八、查询数据

1.查询数据

POST file_data/_search
{"query": {"match": {"attachment.content": {"query": "内存泄漏","analyzer": "ik_smart"}}}
}

这里提交的时候，注意一下请求方式，ES官方和很多博主说的都是GET请求，但是我得GET请求会查出所有数据，相当于我的查询参数设置没有生效，然后我用POST请求就成功了。这个好像是elasticsearch-head-master可视化工具的BUG，好像高版本已经修复了。
在这里插入图片描述

2.多条件查询

上面是我根据文件内容进行的查询，比如我想根据多条件查询怎么办呢？类似于mysql中的 and 条件 where id=1 and name=“文件名称”

{"query": {"bool": {"must": [{"match": {"attachment.content": {"query": "啊啊啊啊啊","analyzer": "ik_smart"}}},{"match": {"file_name": "性能分析排查思路"}}]}}
}

在这里插入图片描述

学习两位博主的文章：
https://blog.csdn.net/yuand7/article/details/136436712?spm=1001.2014.3001.5506

https://blog.csdn.net/lijie0213/article/details/134205963?spm=1001.2014.3001.5506

九、Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

点击跳转：请看我这篇博客-Java 插入数据到Elasticsearch中进行各种类型文档的内容检索

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/704310.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

小程序蓝牙连接ESP32通信(可直接拿来用)

小程序蓝牙连接ESP32通信(可直接拿来用)

小程序中的蓝牙能力 在小程序中，要使用蓝牙能力（Beacon 除外）必须首先调用 wx.openBluetoothAdapter 初始化蓝牙适配器模块，其生效周期为调用 wx.openBluetoothAdapter 至调用 wx.closeBluetoothAdapter 或小程序被销毁为止。只有…
阅读更多...
【mysql】mysql导入导出数据详解

【mysql】mysql导入导出数据详解

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全…
阅读更多...
翻译《The Old New Thing》- What does the CS_OWNDC class style do?

翻译《The Old New Thing》- What does the CS_OWNDC class style do?

What does the CS_OWNDC class style do? - The Old New Thing (microsoft.com)https://devblogs.microsoft.com/oldnewthing/20060601-06/?p31003 Raymond Chen 2006年06月01日 简要 本文讨论了CS_OWNDC窗口类样式的影响，它让窗口管理器为窗口创建一个永久的设…
阅读更多...
高通QCS6490开发（三）：点亮板卡

高通QCS6490开发（三）：点亮板卡

QCS6490是高通公司针对高端物联网终端而优化的SoC，在性能和功耗上有最优的平衡。《高通QCS6490 AIoT应用开发》是介绍如何基于QCS6490平台完成AIIoT的应用开发的系列文章。 本期主要介绍介绍如何点亮FV01开发板。 以下步骤介绍如何点亮FV01开发板步骤 1、将12V/5A…
阅读更多...
人物介绍模板 PSD 源文件免费获取

人物介绍模板 PSD 源文件免费获取

免费获取 下载链接在最后！ 下载链接在最后！ 下载链接在最后！ 下载链接在最后！ 下载链接在最后！ 链接：https://pan.baidu.com/s/1sq3e6djMdZt76Sh_uqVxWg 提取码：naun
阅读更多...
Gini Impurity（基尼不纯度）

Gini Impurity（基尼不纯度）

基尼不纯度：衡量集合的无序程度； 基尼不纯度 基尼不纯度：将来自集合的某种结果随机应用于某一数据项的预期误差率。 1、显然基尼不纯度越小，纯度越高，集合的有序程度越高，分类的效果越好； 2、…
阅读更多...
广告小白必看|谷歌Google Ads被封禁原因是什么，如何防范？

广告小白必看|谷歌Google Ads被封禁原因是什么，如何防范？

跨境出海业务少不了需要做Google Ads推广业务；其中让投手们闻风丧胆的消息就是帐户被暂停。当 Google 检测到任何违反其政策且可能损害用户在线体验的行为时，就会发生这种情况。那么如何在做广告推广的同时，保证账号不被封禁呢？看…
阅读更多...
独立静态ISP：互联网连接的新选择

独立静态ISP：互联网连接的新选择

在数字化时代，互联网连接的质量直接影响着我们的工作与生活。随着技术的发展，独立静态ISP（Internet Service Provider，互联网服务提供商）逐渐成为企业和个人用户关注的焦点。本文将从五个方面探讨独立静态ISP的优势、应…
阅读更多...
异步I/O库-libuv介绍

异步I/O库-libuv介绍

1.简介 libuv是一个跨平台的支持事件驱动的异步I/O的库，使开发者可以以非阻塞的方式执行文件I/O操作、网络通信、子进程管理等。 libuv的主要特点包括： 事件循环：libuv有一个基于事件循环的模型，它不断地轮询事件，并…
阅读更多...
【2024年电工杯数学建模竞赛】选题分析+A题B题完整思路+代码分享

【2024年电工杯数学建模竞赛】选题分析+A题B题完整思路+代码分享

.2024年电工杯数学建模AB题选题思路 比赛开始第一时间在下面的资料裙分享： 点击链接加入群聊【2024数维杯数学建模ABC题资料汇总】：http://qm.qq.com/cgi-bin/qm/qr?_wv1027&kBwulH5tSN2X7iLXzZHAJqRk9sYnegd0y&authKey2TSsuOgqXZQ%2FvTX4R59…
阅读更多...
Java面试八股之Java中有哪些原子类，原理是什么

Java面试八股之Java中有哪些原子类，原理是什么

Java中有哪些原子类，原理是什么 AtomicInteger 和 AtomicLong： 用于对整数（int）和长整数（long）进行原子操作。 原理：它们内部封装了一个整型或长整型变量，并通过使用Unsafe类提供…
阅读更多...
手机如何下载短视频到本地：成都鼎茂宏升文化传媒公

手机如何下载短视频到本地：成都鼎茂宏升文化传媒公

手机如何下载短视频到本地 ​随着移动互联网的迅猛发展，短视频已经成为人们生活中不可或缺的一部分。从娱乐、学习到社交，短视频以其短小精悍、内容丰富的特点，吸引了大量用户的关注。然而，有时我们可能希望将喜欢的短视频保存到…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023