分布式搜索ElasticSearch-ES(一)

一、ElasticSearch介绍

ES是一款非常强大的开源搜索引擎,可以帮我们从海量的数据中快速找到我们需要的内容。

ElasticSearch结合kibana、Logstash、Beats,也就是elastic stack(ELK),被广泛运用在日志数据分析,实时监控等领域。

ES负责数据 存储、计算、搜索数据

LogStash和Beats负责 数据抓取

Kibana 是数据可视化组件

Lucence是ES的底层开发,java语言搜索引擎类库,是Apache公司顶级项目。

Lucence优势:

  1. 易扩展。
  2. 高性能。(基于倒排索引)

缺点:

  1. 只限于java语言开发。
  2. 学习难度高,曲线陡峭。
  3. 不支持水平扩展。

于是在lucence的基础上,ES优点:

  1. 支持分布式,可水平扩展。
  2. 提供restful接口,被任何语言调用。

什么是ElasticSearch?

一个开源的分布式搜索引擎,可以实现日志搜索,日志统计,分析等。

什么是ElasticSearch Stack(ELK)?

是以es为核心,logStash和beats负责数据抓取,kibana数据可视化的技术栈。

二、索引

传统数据库采用 正向索引,而es采用 倒排索引。

如mysql采用正向索引,比如一个表里有id,这个自增id就属于主键索引,也属于正向索引,查询非常快。

但如果查询某个字段,这个字段叫title其中存储着“明朝那些事”,这时候如果想查包含“那些”的title怎么查询呢,即使title有索引,这时候用模糊查询也会索引失效。

 

ElasticSearch采用倒排索引,倒排索引有两个概念,文档和词条。

  1. 文档(document):每条数据就是一个文档。
  2. 词条(term):文档按照语义分成的词语。

词条的唯一性保证不会重复,对词条创建索引

查询“华为手机”的过程

  1. 先拆分这个搜索为词条“华为”“手机”。
  2. 在倒排索引通过词条创建的主键索引,快速找到“手机”对应id为1,2,“华为”对应id为2,3。
  3. 文档id1,2,3可以查询到对应的三条数据,通过聚簇索引快速查询到结果集。

为什么叫倒排索引呢,因为平时数据库我们是先通过id去找具体的值,而es的倒排索引我们通过次创建新的索引,所以先是去找值再找对应索引的具体值。

三、ES与mysql对比

文档:

ElasticSearch是面向文档存储,可以是数据库一条商品或者一个订单信息。会被序列化成JSON格式存储。

索引(index):

会把类型相同的索引放在一起,比如商品索引,用户索引,订单索引等。

  1. Mysql的table 对比与 es的索引index

索引就是文档的集合,类似与数据库的表。

  1. mysql的row对比与es的document

Document是json风格,row是一条条数据。

Mysql擅长事务,数据库一致性和安全。

Es擅长海量数据搜索和计算。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/59618.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Golang 包详解以及go mod

Golang 中包的介绍和定义 包(package)是多个 Go 源码的集合,是一种高级的代码复用方案,Go 语言为我们提供了 很多内置包,如 fmt、strconv、strings、sort、errors、time、encoding/json、os、io 等。 Golang 中的包可以分为三种:1、系统内置包 2、自定义包 3、第三方包…

View绘制流程-Window创建

前言: View绘制流程中,主要流程是这样的: 1.用户进入页面,首先创建和绑定Window; 2.首次创建以及后续vsync信号来临时,会请求执行刷新流程; 3.刷新流程完成后,会通知SurfaceFlin…

【机器学习1】什么是机器学习机器学习的重要性

什么是机器学习? 简而言之,机器学习就是训练机器去学习。 机器学习作为人工智能(Artificial Intelligence,AI)的一个分支,以其最基本的形式来使用算法通过从数据中获取知识来进行预测。 不同于人类通过分析大量数据手动推导规则和模型,机…

等了10年,工信部的APP备案终于来了

我是卢松松,点点上面的头像,欢迎关注我哦! 2005年3月,工信部要求所有境内网站都要进行网站备案、公安备案。 2023年8月,工信部要求所有的APP、小程序进行备案。否则…… 这绝对是一个移动互联网创业分水岭&#xff0…

Linux初识网络基础

目录 网络发展 认识“协议 ” 网络协议 OSI七层模型: TCP/IP五层(或四层)模型 网络传输基本流程 网络传输流程图: 数据包封装和封用 网络中的地址 认识IP地址: 认识MAC地址: 网络发展 1.独立…

计算机网络实验1:网络命令学习

文章目录 1. 主要教学内容2. ping命令2.1 发送ping测试报文2.2 检测TCP/IP 3. tracert命令4. ipconfig命令5. netstat命令6. arp命令7. net命令8. netsh命令 1. 主要教学内容 实验内容:学习ping、tracert、ipconfig等常用的网络命令。所需学时:1。重难点…

免费商用图片素材网站,4K高清无水印。

推荐6个图片素材网站,免费下载,还可以商用,希望对大家有帮助。 菜鸟图库 美女图片|手机壁纸|风景图片大全|高清图片素材下载网 - 菜鸟图库 网站主要是为新手设计师提供免费素材的,素材的质量都很高,类别也很多&#x…

compile_and_runtime_not_namespaced_r_class_jar\debug\R.jar: 另一个程序正在使用

问题情况: run App的时候,提示该文件被占用 想要clean Project,还是提示该文件被占用,这个文件和连带的文件夹都无法被删除。 方法1: AndroidStudio下方的terminal(没有这个窗口的话,从上面的…

C字符串与C++ string 类:用法万字详解(上)

目录 引言 一、C语言字符串 1.1 创建 C 字符串 1.2 字符串长度 1.3 字符串拼接 1.4 比较字符串 1.5 复制字符串 二、C字符串string类 2.1 解释 2.2 string构造函数 2.2.1 string() 默认构造函数 2.2.2 string(const char* s) 从 C 风格字符串构造 2.2.3 string(co…

Yolov5缺陷检测/目标检测 Jetson nx部署Triton server

使用AI目标检测进行缺陷检测时,部署到Jetson上即小巧算力还高,将训练好的模型转为tensorRT再部署到Jetson 上供http或GRPC调用。1 Jetson nx 刷机 找个ubuntu 系统NVIDIA官网下载安装Jetson 的sdkmanager一步步刷机即可。 本文刷的是JetPack 5.1, 其中包…

SQL-每日一题【1179. 重新格式化部门表】

题目 部门表 Department: 编写一个 SQL 查询来重新格式化表,使得新的表中有一个部门 id 列和一些对应 每个月 的收入(revenue)列。 查询结果格式如下面的示例所示: 解题思路 1.题目要求我们重新格式化表,…

GO语言基础语法探究:简洁高效的编程之道

文章目录 前言Go词法单元token标识符关键字( 25个 )内置数据类型标识符( 20个 )内置函数( 15个 )常量值标识符( 4个)空白标识符( 1个 ) 操作符和分隔符字面常…