Elasticsearch 入门向使用

文章目录

  • ElasticSearch
    • 简介
    • 倒排索引
    • 安装(单节点)
    • 分词器
    • kibana
    • 与Mysql概念上的对比
    • 索引库CRUD
    • 文档CRUD
    • DSL查询
      • 相关性算分
      • Function Score Query自定义算分
      • Boolean Query
    • 搜索结果处理
      • 排序
      • 分页
      • 高亮
    • 数据聚合 aggregations
    • 自动补全
    • 数据同步
    • 集群

ElasticSearch

简介

Elasticsearch（中文译为“弹性搜索”）是一个开源的分布式搜索引擎，它用于全文检索、结构化搜索和分析。它是Elastic公司的一个产品，基于Apache Lucene搜索库构建而成。Elasticsearch提供了一个RESTful API，使其易于集成到各种应用程序中。

该搜索引擎被广泛用于构建实时搜索和分析引擎，适用于各种用例，包括网站搜索、日志和事件数据分析、企业应用程序搜索等。Elasticsearch能够处理大量数据，并在分布式环境中进行水平扩展，使其适用于大规模数据存储和检索。

除了搜索功能外，Elasticsearch还具备聚合、过滤、排序等强大的分析能力。它通常与Logstash（用于数据收集和日志处理）以及Kibana（用于数据可视化和管理）一起使用，构成ELK堆栈，用于全面的日志和事件数据处理。

倒排索引

在这里插入图片描述

安装(单节点)

# 创建docker网络,使elasticsearch和kibana在同一网段
docker network create es-net# 拉取es镜像,es最后一个7.x版本
docker pull elsaticsearch:7.17.16# 启动es容器
# -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"设置内存大小
# -e "discovery.type=single-node"设置单机版
# 将数据和插件路径挂载出来
# 设置加入之前创建的网络es-net 暴露9200 9300端口
docker run -d \--name elasticsearch \-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \-e "discovery.type=single-node" \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.17.16

启动后访问: http://localhost:9200 可以看到以下信息

{"name": "758d042e95ca","cluster_name": "docker-cluster","cluster_uuid": "yPh8v3ySTcCk8lOrTT1aIA","version": {"number": "7.17.16","build_flavor": "default","build_type": "docker","build_hash": "2b23fa076334f8d4651aeebe458a955a2ae23218","build_date": "2023-12-08T10:06:54.672540567Z","build_snapshot": false,"lucene_version": "8.11.1","minimum_wire_compatibility_version": "6.8.0","minimum_index_compatibility_version": "6.0.0-beta1"},"tagline": "You Know, for Search"
}

分词器

  • 中文分词器 ik https://github.com/medcl/elasticsearch-analysis-ik
  • 拼音分词器 pinyin
    https://github.com/medcl/elasticsearch-analysis-pinyin

docker inspect elasticsearch

在这里插入图片描述

将分词器解压到es-plugins的挂载出来的目录中即可

kibana

docker pull kibana:7.17.16docker run -d \--name mykibana \-p 5601:5601 \--network es-net \-e "ELASTICSEARCH_HOSTS=http://elasticsearch:9200" \
kibana:7.17.16

安装后,访问 http://localhost:5601

在Dev tools中执行默认的语句,可以得到es详细信息

GET _search
{"query": {"match_all": {}}
}{"took" : 6,"timed_out" : false,"_shards" : {"total" : 7,"successful" : 7,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 86,"relation" : "eq"},"max_score" : 1.0,"hits" : [{"_index" : ".kibana_7.17.16_001","_type" : "_doc","_id" : "canvas-workpad-template:workpad-template-061d7868-2b4e-4dc8-8bf7-3772b52926e5",..........................

执行 GET /

GET /{"name" : "758d042e95ca","cluster_name" : "docker-cluster","cluster_uuid" : "yPh8v3ySTcCk8lOrTT1aIA","version" : {"number" : "7.17.16","build_flavor" : "default","build_type" : "docker","build_hash" : "2b23fa076334f8d4651aeebe458a955a2ae23218","build_date" : "2023-12-08T10:06:54.672540567Z","build_snapshot" : false,"lucene_version" : "8.11.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

与Mysql概念上的对比

esmysql
IndexDatabase
DSLSQL
DocumentRow
FieldColumn
MappingSchema

mapping属性: 对索引库中文档的约束

  • Type: 字段的数据类型
    • 字符串: text(可分词) keyword(精确值,不参与分词)
    • 数值: long integer short byte double float
    • 布尔: boolean
    • 日期: date
    • 对象: object
  • index: 是否创建索引,默认为true
  • analyzer: 使用哪种分词器
  • properties: 字段的子字段

索引库CRUD

创建索引库

PUT /索引库名称
{"mappings":{"properties":{"字段名":{"type": "text","analyzer": "ik_smart"},"字段名2":{"type":"keyword","index": "false"},"字段名3":{"type":"object","properties":{"子字段":{"type":"keyword"}}},...}}
}

PUT /person
{"mappings": {"properties": {"name":{"type": "text","analyzer": "ik_smart"},"age":{"type": "integer","index": false}}}
}响应:
{"acknowledged" : true,"shards_acknowledged" : true,"index" : "person"
}

查询索引库

GET /索引库名

GET /person

删除索引库

DELETE /索引库名

DELETE /zbq{"acknowledged" : true
}

修改: 索引库和mapping一旦创建不可修改!!!

但是可以新增新的字段

PUT /person/_mapping
{"properties": {"weight": {"type": "double","index": false}}
}

文档CRUD

新增文档 DSL

POST /索引库名/_doc/文档id
{"字段1":"value1","字段2":"value2",...
}

POST /person/_doc/1
{"name":"alex","age":12,"weight":48.20
}

查询文档

GET /索引库名/_doc/文档id

GET /person/_doc/1

删除文档

DELETE /索引库名/_doc/文档id

DELETE /person/_doc/1

修改文档:

分为两种: 全量修改和局部修改

全量修改, 删除原先文档再新增

POST /person/_doc/2
{"name":"albert","age":12,"weight":48.20
}

局部修改: 只修改指定字段

POST /person/_update/1
{"doc": {"age":23}
}

DSL查询

基本语法:

GET /索引库名/_search
{"query":{"查询类型":{"查询条件":"条件值"}}
}

分类:

  • 查询所有 match_all
GET /indexName/_search
{"query":{"match_all":{}}	
}
  • 全文检索(full text)
GET /indexName/_search
{"query":{"match":{"字段名": "值"}}
}

GET /indexName/_search
{"query":{"multi_match":{"query":"值","fields":["字段1","字段2",...]}}
}

  • 精确查询: keyword 数值 日期等等类型查询

    • term: 精确查询
    GET /indexName/_search
{"query":{"term":{"字段名":{"value":"取值"}}}
}
    • range: 范围
    GET /indexName/_search
{"query":{"range":{"字段名":{"gte":10,"lte":20}}}
}

  • 地理查询

    • geo_bounding_box: 某个矩形范围内的文档
    GET /indexName/_search
{"query":{"geo_bounding_box":{"字段名":{"top_left":{"lat":值1,"lon":值2},"bottom_right":{"lat":值3,"lon":值4}}}}
}
    • geo_distance: 查询到指定中心点距离的所有文档
    GET /indexName/_search
{"query":{"geo_distance":{"distance":"15km","字段名":"经度,纬度"}}
}

  • 复合查询

相关性算分

  • TF (Term Frequency)

T F = 词条出现次数 文档中词条总数 TF = \frac{词条出现次数}{文档中词条总数} TF=文档中词条总数词条出现次数​

  • TF-IDF : es5.0以前
  • BM25: es5.0后

Function Score Query自定义算分

在这里插入图片描述

Boolean Query

一个或多个查询子句组合

  • must 参与算分,必须匹配
  • should 参与算分,选择性匹配
  • must_not 不参与算分,必须不成立
  • filter 不参与算分,必须匹配
GET /indexName/_search
{"query":{"bool":{"must":[{全文检索,精确查询,地理查询等}],"must_not":[{全文检索,精确查询,地理查询等}],"should":[{}],"filter":[{}]}}
}

搜索结果处理

排序

默认按照相关度算分排序
可排序字段:

  • keyword
  • 数值
  • 地理坐标
  • 日期
    使用上述字段时,就不再做相关性打分
GET /indexName/_search
{"query":{"match_all":{}},"sort":{"字段1":"asc / desc","字段2":"asc / desc"}
}

分页

默认返回10条结果
通过from和size返回结果
和mysql中limit a,b 相似
from=10 size=10时,es会查询所有结果再从中截取想要的数据,单点时问题不太突出.当es集群部署时,要将所有的结果先聚合,在内存中排序后截取结果返回.数据量百万千万时非常恐怖的操作.es限制上限为10000条
如果非要获取10000条以后的数据:
es提供了解决方案, search after

GET /indexName/_search
{"query":{"match_all":{}},"sort":{"字段1":"asc / desc","字段2":"asc / desc"},"from": 100,"size": 10
}

高亮

将搜索关键字突出显示

GET /indexName/_search
{"query":{"match":{"字段":"值"}},"highlight":{"fields":{"字段1":{"pre_tags":"<em>","post_tags":"</em>"},"字段2":...}}
}

数据聚合 aggregations

  • 桶(Bucket)聚合
    • TermAggregation
    • Date Histogram
  • 度量(Metric)聚合
    • Avg
    • Max
    • Min
  • 管道(pipeline)聚合: 对其他聚合结果再聚合

自动补全

数据同步

es数据来自mysql

  • 同步阻塞式
  • 异步, 消息队列
  • 使用canal监听mysql的binlog

集群

个人机器情况: windows10 物理主机 配置虚拟网卡 ip为 192.168.85.200 网关 192.168.85.2

3台centos7.9.2009 配置静态ip

3台机器ip分别为: 192.168.85.201 192.168.85.202 192.168.85.203

能做到任意节点相互ping通

搭建3节点的es集群:

将下方配置保存为elasticsearch.yml, 挂载数据卷时使用,作为es配置

192.168.85.201:

cluster.name: es
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es01
# # 当前该节点是不是有资格竞选主节点
node.master: true
# # 当前该节点是否存储数据
node.data: true
# # 设置为公开访问
network.host: 0.0.0.0
# # 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.168.85.201
# # 设置映射端口
http.port: 9200
# # 内部节点之间沟通端口
transport.tcp.port: 9300
#
# # 支持跨域访问
http.cors.enabled: truehttp.cors.allow-origin: "*"
#
# # 配置集群的主机地址
discovery.seed_hosts: ["192.168.85.201","192.168.85.202","192.168.85.203"]
# # 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es01","es02","es03"]
# # 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# # 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# # 禁用交换内存，提升效率
bootstrap.memory_lock: false

然后使用docker启动容器

docker run --name=es01 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
-v /root/es/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v es01-data:/usr/share/elasticsearch/data \
-v es01-plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.17.16

第二台: 192.168.85.202

cluster.name: es
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es02
# # # 当前该节点是不是有资格竞选主节点
node.master: true
# # # 当前该节点是否存储数据
node.data: true
# # # 设置为公开访问network.host: 0.0.0.0
# # # 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.168.85.202
# # # 设置映射端口
http.port: 9200
# # # 内部节点之间沟通端口
transport.tcp.port: 9300
# #
# # # 支持跨域访问
http.cors.enabled: true
#http.cors.allow-origin: "*"
# #
# # # 配置集群的主机地址
discovery.seed_hosts: ["192.168.85.201","192.168.85.202","192.168.85.203"]
# # # 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es01","es02","es03"]
# # # 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# # # 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# # # 禁用交换内存，提升效率
bootstrap.memory_lock: false
docker run --name=es02 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
-v /root/es/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v es02-data:/usr/share/elasticsearch/data \
-v es02-plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.17.16

第三台: 192.168.85.203

cluster.name: es
# 当前该节点的名称，每个节点不能重复es-node-1，es-node-2，es-node-3
node.name: es03
# # # 当前该节点是不是有资格竞选主节点
node.master: true
# # # 当前该节点是否存储数据
node.data: true
# # # 设置为公开访问network.host: 0.0.0.0
# # # 设置其它节点和该节点交互的本机器的ip地址，三台各自为
network.publish_host: 192.168.85.203
# # # 设置映射端口
http.port: 9200
# # # 内部节点之间沟通端口
transport.tcp.port: 9300
# #
# # # 支持跨域访问
http.cors.enabled: true
#http.cors.allow-origin: "*"
# #
# # # 配置集群的主机地址
discovery.seed_hosts: ["192.168.85.201","192.168.85.202","192.168.85.203"]
# # # 初始主节点，使用一组初始的符合主条件的节点引导集群
cluster.initial_master_nodes: ["es01","es02","es03"]
# # # 节点等待响应的时间，默认值是30秒,增加这个值，从一定程度上会减少误判导致脑裂
discovery.zen.ping_timeout: 30s
# # # 配置集群最少主节点数目，通常为 (可成为主节点的主机数目 / 2) + 1
discovery.zen.minimum_master_nodes: 2
# # # 禁用交换内存，提升效率
bootstrap.memory_lock: false

docker run --name=es03 -p 9200:9200 -p 9300:9300 \
-e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
-v /root/es/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v es03-data:/usr/share/elasticsearch/data \
-v es03-plugins:/usr/share/elasticsearch/plugins \
--restart=always \
-d elasticsearch:7.17.16

安装 cerebro https://github.com/lmenezes/cerebro/releases/tag/v0.9.4

启动bin目录下 cerebro.bat

登陆界面连接任意一台即可:

成功界面:

在这里插入图片描述

可以看到3个节点工作正常, es02为master节点

使用nginx配置反向代理

在nginx.conf中添加:

upstream   es-cluster {server 192.168.85.201:9200;server 192.168.85.202:9200;server 192.168.85.203:9200;}server {listen 8000;server_name localhost;location / {proxy_pass http://es-cluster;}}

访问 http://localhost:8000 即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/416840.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SSM汽车维修管理系统

SSM汽车维修管理系统

工具使用情况&#xff1a; eclipsetomcatmysqljdk 技术架构&#xff1a; 后台&#xff1a;springspring mvcmybatis 前台&#xff1a;easyui 功能介绍&#xff1a; 汽车维修管理、车辆接待、维修项目登记、维修领料、质检完工、消费结算 配件管理、财务管理、基础数据管理…
阅读更多...
PE解释器之PE文件结构（二）

PE解释器之PE文件结构（二）

接下来的内容是对IMAGE_OPTIONAL_HEADER32中的最后一个成员DataDirectory&#xff0c;虽然他只是一个结构体数组&#xff0c;每个结构体的大小也不过是个字节&#xff0c;但是它却是PE文件中最重要的成员。PE装载器通过查看它才能准确的找到某个函数或某个资源。 一&#xff1…
阅读更多...
day15 DOM（1）

day15 DOM（1）

目录 DOM简介DOM作用能力使用场景 DOM树&#xff08;文档树&#xff09;DOM对象获取DOM对象根据CSS选择器来获取DOM元素其它获取DOM元素方法 操作元素内容操作元素属性 DOM简介 当网页被加载时&#xff0c;浏览器会创建页面的文档对象模型&#xff08;Document Object Model&a…
阅读更多...
FlinkAPI开发之处理函数

FlinkAPI开发之处理函数

案例用到的测试数据请参考文章&#xff1a; Flink自定义Source模拟数据流 原文链接&#xff1a;https://blog.csdn.net/m0_52606060/article/details/135436048 概述 之前所介绍的流处理API&#xff0c;无论是基本的转换、聚合&#xff0c;还是更为复杂的窗口操作&#xff0c…
阅读更多...
mac pro “RESP.app”意外退出 redis desktop manager

mac pro “RESP.app”意外退出 redis desktop manager

文章目录 redis desktop manager下载地址提示程序含有恶意代码“RESP.app”意外退出解决办法&#xff1a;下载python3.10.并安装重新打开RESP如果还是不行&#xff0c;那么需要替换错误路径&#xff08;我的没用&#xff09;外传 最近在研究redis的消息&#xff0c;看到了strea…
阅读更多...
【RabbitMQ】RabbitMQ安装与使用详解以及Spring集成

【RabbitMQ】RabbitMQ安装与使用详解以及Spring集成

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是Java方文山&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的专栏《RabbitMQ实战》。&#x1f3af;&#x1f3af; &am…
阅读更多...
总结网络中的一些基本概念

总结网络中的一些基本概念

1. IP地址 描述一个设备在网络上的位置&#xff0c;而且计算机是通过数字来描述IP地址的。例如&#xff08;生活中的地址&#xff09; 2. 端口号 描述一个主机上的哪个应用程序&#xff0c;有了IP可以确定主机&#xff0c;但是一个主机上可能有很多程序在使用网络&#xff0c;…
阅读更多...
【MySQL】 复合查询

【MySQL】 复合查询

复合查询 一、基本查询回顾二、多表查询1、多表查询2、笛卡尔积的过滤3、自连接 三、子查询1、单行子查询2、多行子查询3、多列子查询4、在from子句中使用子查询 四、合并查询 一、基本查询回顾 下面给出三张表&#xff0c;分别是员工表&#xff08;emp&#xff09;、部门表&a…
阅读更多...
GO 中如何防止 goroutine 泄露

GO 中如何防止 goroutine 泄露

文章目录 概述如何监控泄露一个简单的例子泄露情况分类chanel 引起的泄露发送不接收接收不发送nil channel真实的场景 传统同步机制MutexWaitGroup 总结参考资料 今天来简单谈谈&#xff0c;Go 如何防止 goroutine 泄露。 概述 Go 的并发模型与其他语言不同&#xff0c;虽说它…
阅读更多...
Wpf 使用 Prism 实战开发Day13

Wpf 使用 Prism 实战开发Day13

配置 AutoMapper 关系映射 在上一节 ToDoController 控制器&#xff0c;或 IToDoService 服务接口中&#xff0c;方法的传参都是直接传的实体类。但在实际开发过程中&#xff0c;这样是不允许的。标准且规范的做法是&#xff0c;定义一个数据传输层&#xff0c;即Dto层。 一.在…
阅读更多...
【ARMv8M Cortex-M33 系列 7.2 -- HardFault 问题定位 1】

【ARMv8M Cortex-M33 系列 7.2 -- HardFault 问题定位 1】

文章目录 问题背景堆栈对齐要求Cortex-M33 的 FPU 功能 问题背景 rt-thread 在PendSV_Handler退出的时候发生了HardFault_Handler是什么原因&#xff1f;且 LR 的值为0xfffffffd 堆栈对齐要求 在 ARM Cortex-M 架构中&#xff0c;堆栈指针 (SP) 必须始终保持 8 字节对齐。这…
阅读更多...
强缓存、协商缓存（浏览器的缓存机制）是么子？

强缓存、协商缓存（浏览器的缓存机制）是么子？

文章目录 一.为什么要用强缓存和协商缓存&#xff1f;二.什么是强缓存&#xff1f;三.什么是协商缓存&#xff1f;四.总结 一.为什么要用强缓存和协商缓存&#xff1f; 为了减少资源请求次数&#xff0c;加快资源访问速度&#xff0c;浏览器会对资源文件如图片、css文件、js文…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023