es 聚合操作（一）

前言

Elasticsearch除搜索以外，提供了针对ES 数据进行统计分析的功能。聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如：

  • 衣服品牌的受欢迎程度
  • 这些衣服的平均价格、最高价格、最低价格
  • 这些衣服的每天、每月销量如何

使用场景

聚合查询可以用于各种场景，比如商业智能、数据挖掘、日志分析等等。

  • 电商平台的销售分析：统计每个地区的销售额、每个用户的消费总额、每个产品的销售量等，以便更好地了解销售情况和趋势。
  • 社交媒体的用户行为分析：统计每个用户的发布次数、转发次数、评论次数等，以便更好地了解用户行为和趋势，同时可以将数据按照地区、时间、话题等维度进行分析。
  • 物流企业的运输分析：统计每个区域的运输量、每个车辆的运输次数、每个司机的行驶里程等，以便更好地了解运输情况和优化运输效率。
  • 金融企业的交易分析：统计每个客户的交易总额、每个产品的销售量、每个交易员的业绩等，以便更好地了解交易情况和优化业务流程。
  • 智能家居的设备监控分析：统计每个设备的使用次数、每个家庭的能源消耗量、每个时间段的设备使用率等，以便更好地了解用户需求和优化设备效能。

基本语法

聚合查询的语法结构与其他查询相似，通常包含以下部分：

  • 查询条件：指定需要聚合的文档，可以使用标准的 Elasticsearch 查询语法，如 term、match、range 等等。
  • 聚合函数：指定要执行的聚合操作，如 sum、avg、min、max、terms、date_histogram 等等。每个聚合命令都会生成一个聚合结果。
  • 聚合嵌套：聚合命令可以嵌套，以便更细粒度地分析数据。
GET <index_name>/_search
{"aggs": {"<aggs_name>": { // 聚合名称需要自己定义"<agg_type>": {"field": "<field_name>"}}}
}
  • aggs_name：聚合函数的名称，需要自己定义
  • agg_type：聚合种类，比如是桶聚合（terms）或者是指标聚合（avg、sum、min、max等）
  • field_name：字段名称或者叫域名。

示例数据

#创建索引库
PUT /employees
{"mappings": {"properties": {"age":{"type": "integer"},"gender":{"type": "keyword"},"job":{"type" : "text","fields" : {"keyword" : {"type" : "keyword","ignore_above" : 50}}},"name":{"type": "keyword"},"salary":{"type": "integer"}}}
}PUT /employees/_bulk
{ "index" : {  "_id" : "1" } }
{ "name" : "Emma","age":32,"job":"Product Manager","gender":"female","salary":35000 }
{ "index" : {  "_id" : "2" } }
{ "name" : "Underwood","age":41,"job":"Dev Manager","gender":"male","salary": 50000}
{ "index" : {  "_id" : "3" } }
{ "name" : "Tran","age":25,"job":"Web Designer","gender":"male","salary":18000 }
{ "index" : {  "_id" : "4" } }
{ "name" : "Rivera","age":26,"job":"Web Designer","gender":"female","salary": 22000}
{ "index" : {  "_id" : "5" } }
{ "name" : "Rose","age":25,"job":"QA","gender":"female","salary":18000 }
{ "index" : {  "_id" : "6" } }
{ "name" : "Lucy","age":31,"job":"QA","gender":"female","salary": 25000}
{ "index" : {  "_id" : "7" } }
{ "name" : "Byrd","age":27,"job":"QA","gender":"male","salary":20000 }
{ "index" : {  "_id" : "8" } }
{ "name" : "Foster","age":27,"job":"Java Programmer","gender":"male","salary": 20000}
{ "index" : {  "_id" : "9" } }
{ "name" : "Gregory","age":32,"job":"Java Programmer","gender":"male","salary":22000 }
{ "index" : {  "_id" : "10" } }
{ "name" : "Bryant","age":20,"job":"Java Programmer","gender":"male","salary": 9000}
{ "index" : {  "_id" : "11" } }
{ "name" : "Jenny","age":36,"job":"Java Programmer","gender":"female","salary":38000 }
{ "index" : {  "_id" : "12" } }
{ "name" : "Mcdonald","age":31,"job":"Java Programmer","gender":"male","salary": 32000}
{ "index" : {  "_id" : "13" } }
{ "name" : "Jonthna","age":30,"job":"Java Programmer","gender":"female","salary":30000 }
{ "index" : {  "_id" : "14" } }
{ "name" : "Marshall","age":32,"job":"Javascript Programmer","gender":"male","salary": 25000}
{ "index" : {  "_id" : "15" } }
{ "name" : "King","age":33,"job":"Java Programmer","gender":"male","salary":28000 }
{ "index" : {  "_id" : "16" } }
{ "name" : "Mccarthy","age":21,"job":"Javascript Programmer","gender":"male","salary": 16000}
{ "index" : {  "_id" : "17" } }
{ "name" : "Goodwin","age":25,"job":"Javascript Programmer","gender":"male","salary": 16000}
{ "index" : {  "_id" : "18" } }
{ "name" : "Catherine","age":29,"job":"Javascript Programmer","gender":"female","salary": 20000}
{ "index" : {  "_id" : "19" } }
{ "name" : "Boone","age":30,"job":"DBA","gender":"male","salary": 30000}
{ "index" : {  "_id" : "20" } }
{ "name" : "Kathy","age":29,"job":"DBA","gender":"female","salary": 20000}

Metric Aggregation

—些数学运算，可以对文档字段进行统计分析，类比Mysql中的 min(), max(), sum() 操作。

  • 单值分析︰只输出一个分析结果
    • min, max, avg, sum
    • Cardinality（类似distinct Count)
  • 多值分析:输出多个分析结果
  • stats（统计）, extended stats
  • percentile （百分位）, percentile rank
  • top hits(排在前面的示例)

查询员工的最低、最高和平均工资

POST /employees/_search
{"aggs": {"max_salary": {"max": {"field": "salary"}},"min_salary": {"min": {"field": "salary"}},"avg_salary": {"avg": {"field": "salary"}}}
}

注意查询的时候如果不加 size = 0 会查询出来默认的 10 条数据

如果不想要数据只想要统计结果，可以加上 size = 0

POST /employees/_search
{"size": 0, "aggs": {"max_salary": {"max": {"field": "salary"}},"min_salary": {"min": {"field": "salary"}},"avg_salary": {"avg": {"field": "salary"}}}
}

stats 可以输出多个统计值

POST /employees/_search
{ "size": 0, "aggs": {"stats_salary": {"stats": {"field": "salary"}}}
}

cardinate 对搜索结果去重

POST /employees/_search
{"size": 0, "aggs": {"cardinate": {"cardinality": {"field": "job"}}}
}

这里需要注意：如果需要计算的字段是 text 类型，会报错

解决方案有两种：

方案一、开启 fielddata ：

然后就可以对 job 进行聚合计算了

但需要注意的是：

  1. 内存使用：为大量或高基数的 text 字段启用 fielddata 可能会导致大量的内存使用，这可能会影响到集群的性能和稳定性。
  2. 性能：加载大量的 fielddata 可能会降低查询性能。
  3. 统计值：会对 job 进行分词 然后对分词进行 terms


可以看到上面示例，分类的指标都是分词后的结果

下面的示例也是一样的，统计的值也是分词后的结果

这里可以看到 分词后分类有 10 条数，但是使用 keyword 只有 7 条数据

原因就是，fielddata 对先分词 再对分词进行分类计算

PUT /employees/_mapping
{"properties" : {"job":{"type":  "text","fielddata": true}}
}# 对 Text 字段进行分词，分词后的terms
POST /employees/_search
{"size": 0,"aggs": {"jobs": {"terms": {"field":"job"}}}
}

方案二、keyword类型

如果你的目的是对某个字段进行排序或聚合，但不需要全文搜索，那么考虑使用 keyword 类型而不是 text 类型可能是一个更好的选择。keyword 类型默认启用 fielddata，并更适合此类操作。

上面这个示例 keyword 不会对字段的值进行分词，统计值 7 条数据

POST /employees/_search
{"size": 0,"aggs": {"cardinate": {"cardinality": {"field": "job.keyword"}}}
}

Bucket Aggregation

按照一定的规则，将文档分配到不同的桶中，从而达到分类的目的。ES提供的一些常见的 Bucket Aggregation。

  • Terms，需要字段支持filedata
    • keyword 默认支持fielddata
    • text需要在Mapping 中开启fielddata，会按照分词后的结果进行分桶
  • 数字类型
    • Range / Data Range
    • Histogram（直方图） / Date Histogram
  • 支持嵌套: 也就在桶里再做分桶

桶聚合可以用于各种场景，例如：

  • 对数据进行分组统计，比如按照地区、年龄段、性别等字段进行分组统计。
  • 对时间序列数据进行时间段分析，比如按照每小时、每天、每月、每季度、每年等时间段进行分析。
  • 对各种标签信息分类，并统计其数量。

获取job的分类信息

GET /employees/_search
{"size": 0, "aggs": {"jobs": {"terms": {"field": "job.keyword"}}}
}

聚合可配置属性有：

  • field：指定聚合字段
  • size：指定聚合结果数量
  • order：指定聚合结果排序方式

默认情况下，Bucket聚合会统计Bucket内的文档数量，记为_count，并且按照_count降序排序。我们可以指定order属性，自定义聚合的排序方式：

GET /employees/_search
{"size": 0, "aggs": {"jobs": {"terms": {"field": "job.keyword","size": 10,"order": {"_count": "asc"}}}}
}

只对 salary 20000 以上的进行聚合

#限制聚合范围
POST /employees/_search
{"query": {"range": {"salary": {"gte": 20000}}},"size": 0, "aggs": {"jobs": {"terms": {"field": "job.keyword","size": 10,"order": {"_count": "asc"}}}}
}

自定义范围对 salary 分桶

#Salary Range分桶，可以自己定义 key
POST employees/_search
{"size": 0,"aggs": {"salary_range": {"range": {"field":"salary","ranges":[{"to":10000},{"from":10000,"to":20000},{"key":">20000","from":20000}]}}}
}

以 salary 5000 为间隔进行分桶

POST /employees/_search
{"size": 0, "aggs": {"salary_histrogram": {"histogram": {"field": "salary","interval": 5000}}}
}

也可以指定范围：

POST /employees/_search
{"size": 0, "aggs": {"salary_histrogram": {"histogram": {"field": "salary","interval": 5000,"extended_bounds": {"min": 0,"max": 60000}}}}
}

但是这种方式指定范围，好像默认也会输出到最大的那个桶，

我这里指定最大是 10000 但是也会把索引中最大的值输出，

既然默认都会输出最大值，那么指定超过最大值的数值，后面都是 0 也没有统计的必要了

这里感兴趣的小伙伴可以研究一下~

然后如果需要对指定范围的薪资进行统计，可以使用 range query

这样就只统计 20000 以内的数据了

POST /employees/_search
{"query": {"range": {"salary": {"gte": 0,"lte": 20000}}}, "size": 0, "aggs": {"salary_histrogram": {"histogram": {"field": "salary","interval": 5000}}}
}

top_hits

应用场景: 当获取分桶后，桶内最匹配的顶部文档列表

比如：不同工种中，年纪最大的3个员工的具体信息

POST /employees/_search
{"size": 0,"aggs": {"jobs": {"terms": {"field":"job.keyword"},"aggs":{"old_employee":{"top_hits":{"size":3,"sort":[{"age":{"order":"desc"}}]}}}}}
}

嵌套聚合

按照工作类型分桶，并统计工资信息

# 嵌套聚合1，按照工作类型分桶，并统计工资信息
POST employees/_search
{"size": 0,"aggs": {"Job_salary_stats": {"terms": {"field": "job.keyword"},"aggs": {"salary": {"stats": {"field": "salary"}}}}}
}

根据工作类型分桶，然后按照性别分桶，计算工资的统计信息

# 多次嵌套。根据工作类型分桶，然后按照性别分桶，计算工资的统计信息
POST employees/_search
{"size": 0,"aggs": {"Job_gender_stats": {"terms": {"field": "job.keyword"},"aggs": {"gender_stats": {"terms": {"field": "gender"},"aggs": {"salary_stats": {"stats": {"field": "salary"}}}}}}}
}

感谢观看！！！感兴趣的小伙伴可以关注收藏，持续更新中~~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/537200.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Rust 构建开源 Pingora 框架可以与nginx媲美

Rust 构建开源 Pingora 框架可以与nginx媲美

一、概述 Cloudflare 为何弃用 Nginx&#xff0c;选择使用 Rust 重新构建新的代理 Pingora 框架。Cloudflare 成立于2010年&#xff0c;是一家领先的云服务提供商&#xff0c;专注于内容分发网络&#xff08;CDN&#xff09;和分布式域名解析。它提供一系列安全和性能优化服务…
阅读更多...
xcode15，个推推送SDK闪退问题处理办法

xcode15，个推推送SDK闪退问题处理办法

个推iOS推送SDK最新版本 优化了xcode15部分场景下崩溃问题&#xff0c;以及回执上传问题&#xff0c;近期您的应用有发版计划&#xff0c;建议更新SDK&#xff1a; 1&#xff09;GTSDK更新到3.0.5.0以及以上版本&#xff1b; 2&#xff09;GTCommonSDK更新到3.1.0.0及以上版本…
阅读更多...
【深度学习目标检测】二十三、基于深度学习的行人检测计数系统-含数据集、GUI和源码（python，yolov8）

【深度学习目标检测】二十三、基于深度学习的行人检测计数系统-含数据集、GUI和源码（python，yolov8）

行人检测计数系统是一种重要的智能交通监控系统&#xff0c;它能够通过图像处理技术对行人进行实时检测、跟踪和计数&#xff0c;为城市交通规划、人流控制和安全管理提供重要数据支持。本系统基于先进的YOLOv8目标检测算法和PyQt5图形界面框架开发&#xff0c;具有高效、准确、…
阅读更多...
Linux 网络套接字编程基础

Linux 网络套接字编程基础

端口号 我们在上一篇文章中以打电话的例子得出结论&#xff1a;在进行网络通信的时候&#xff0c;不是我们的两台机器在进行通信&#xff0c;本质上是应用层在进行通信。 为什么这么说呢&#xff1f; 网络协议的下三层&#xff0c;解决的是数据安全可靠地发送到远端机器。这…
阅读更多...
BUU [FBCTF2019]RCEService

BUU [FBCTF2019]RCEService

BUU [FBCTF2019]RCEService 开题&#xff0c;要求以json格式输入命令。 无任何信息泄露&#xff0c;源码如下&#xff1a; <?phpputenv(PATH/home/rceservice/jail);if (isset($_REQUEST[cmd])) {$json $_REQUEST[cmd];if (!is_string($json)) {echo Hacking attempt de…
阅读更多...
开源导出html表格项目-easyHtml

开源导出html表格项目-easyHtml

开源导出html表格项目-easyHtml 背景介绍 背景 项目的由来&#xff0c;在面试的过程中&#xff0c;发现这个需求&#xff08;导出html表格&#xff09;比较常见&#xff0c;同时也引起我的兴趣&#xff0c;所以就有了开源项目easyHtml第一个版本 介绍 功能 支持自定义表格标…
阅读更多...
win11 ubuntu子系统 开代理 调试 openai 接口

win11 ubuntu子系统 开代理 调试 openai 接口

我的是laravel项目&#xff0c;步骤如下 步骤1&#xff1a;配置WSL以使用代理 首先&#xff0c;确保WSL中的所有请求都通过你的代理服务器。你可以通过在WSL的shell配置文件&#xff08;如~/.bashrc或~/.zshrc&#xff09;中设置环境变量来实现。打开终端&#xff0c;编辑对应…
阅读更多...
为什么 VSCode 不用 Qt 而要用 Electron?

为什么 VSCode 不用 Qt 而要用 Electron?

为什么 VSCode 不用 Qt 而要用 Electron? 在开始前我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「Qt 的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&am…
阅读更多...
使用Thymeleaf-没有js的html模板导出为pdf

使用Thymeleaf-没有js的html模板导出为pdf

html模板 <!DOCTYPE html> <html xmlns:th"http://www.thymeleaf.org"><head><title>PDF Template</title> </head> <body> <h1>User Information</h1> <p>Name: <span th:text"${user.name}&…
阅读更多...
人工智能|机器学习——BIRCH聚类算法（层次聚类）

人工智能|机器学习——BIRCH聚类算法（层次聚类）

这里再来看看另外一种常见的聚类算法BIRCH。BIRCH算法比较适合于数据量大&#xff0c;类别数K也比较多的情况。它运行速度很快&#xff0c;只需要单遍扫描数据集就能进行聚类。 1.什么是流形学习 BIRCH的全称是利用层次方法的平衡迭代规约和聚类&#xff08;Balanced Iterative…
阅读更多...
人工智能迷惑行为大赏——需求与科技的较量

人工智能迷惑行为大赏——需求与科技的较量

目录 前言 一、 机器行为学 二、人工智能迷惑行为的现象 三、产生迷惑行为的技术原因 四、社会影响分析 五、解决措施 总结 前言 随着ChatGPT热度的攀升&#xff0c;越来越多的公司也相继推出了自己的AI大模型&#xff0c;如文心一言、通义千问等。各大应用也开始内置…
阅读更多...
「媒体宣传」上海有哪些可以邀约的新闻媒体资源汇总

「媒体宣传」上海有哪些可以邀约的新闻媒体资源汇总

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 上海作为中国最大的城市之一&#xff0c;拥有丰富的新闻媒体资源。以下是一些可以邀约的新闻媒体资源汇总&#xff1a; 报纸媒体&#xff1a; 《新民晚报》&#xff1a;上海最具影响力的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023