Elasticsearch解决字段膨胀问题

文章目录

  • 背景
  • Flattened类型的产生
  • Flattened类型的定义
    • 基于Flattened类型插入数据
    • 更新Flattened字段并添加数据
    • Flattened类型检索
  • Flattened类型的不足

背景

Elasticsearch映射如果不进行特殊设置,则默认为dynamic:truedynamic:true实际上支持不加约束地动态添加字段。这样对某些日志场景,可能会产生大量的未知字段。字段如果持续激增,就会达到Elasticsearch映射层面的默认上限,对应设置和默认大小为index. mapping.total_fields.limit:1000。我们把这种非预期字段激增的现象称为字段膨胀。

Flattened类型的产生

如前分析,将dynamic设置为false或者strict不是普适的解决方案。例如,在日志场景中,虽然期望动态添加字段,但strict过于严格会导致新字段数据拒绝写入,而dynamic:true过于松散会导致字段膨胀。这就导致同时满足上述两个方面的Flattened字段的诞生。

Flattened类型最早发布于Elasticsearch 7.3这一版本。

一句话来说,Flattened字段就是用来解决字段膨胀问题的。

Flattened类型的定义

PUT my_index_0517
{"mappings": {"properties": {"host": {"type": "flattened"}}}
}

Flattened的本质是将原来一个复杂的Object或者Nested嵌套多字段类型统一映射为扁平的单字段类型。这里要强调的是:不管原来内嵌多少个字段、内嵌多少层,利用Flattened类型都能一下“拉平”

基于Flattened类型插入数据

基于上面所说的映射,写入一条数据如下。

PUT my_index_0517/_doc/1
{"host": {"hostname": "bionic","name": "bionic"}
}

由于将host字段设置为Flattened,hostname、name字段都不再映射为特定嵌套子字段。

在这里插入图片描述

更新Flattened字段并添加数据

POST my_index_0517/_update/1
{"doc": {"host": {"osVersion": "Bionic Beaver","osArchitecture": "x86_64"}}
}

再次查看映射结构,它依然“岿然不动”。继续使用Flattened,既没有字段扩增,也不会有mapping爆炸出现。

在这里插入图片描述

Flattened类型检索

以下两种检索方式都会召回数据。

####精准匹配term检索
POST my_index_0517/_search
{"query": {"term": {"host": "Bionic Beaver"}}
}POST my_index_0517/_search
{"query": {"term": {"host.osVersion": "Bionic Beaver"}}
}

在这里插入图片描述
而如下检索的返回结果为空。

POST my_index_0517/_search
{"query": {"term": {"host.osVersion": "bionic Beaver"}}
}POST my_index_0517/_search
{"query": {"term": {"host.osVersion": "Bionic"}}
}

这是为什么呢?由于使用Flattened类型,Elasticsearch未对该字段进行分词等处理,因此它只会返回匹配字母大小写且完全一致的结果。所以,如上检索结果和keyword类型检索结果一致。这也初步暴露出Flattened类型的部分缺陷。

Flattened类型的不足

面对Flattened对象,在进行Elasticsearch扁平化数据类型的选型时,我们需要考虑以下几个关键限制。
1)Flattened类型支持的查询类型目前仅限于以下几种:term、terms、terms_set、prefix、range、match、multi_match、query_string、simple_query_string、exists。

2)Flattened不支持的查询类型如下。

❑无法执行涉及数字计算的查询,例如range检索。

❑无法支持高亮查询。

❑尽管支持诸如term聚合之类的聚合,但不支持处理诸如histograms或date_histograms之类的数值数据的聚合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/697742.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PCIE协议-2-事务层规范-Completion Rules

2.2.9 完成规则 所有Read、Non-Posted Write和AtomicOp请求都需要完成(Completion)。完成包含一个完成头标,对于某些类型的完成,完成头标之后会跟随一定数量的DWs数据。完成头标的每个字段的规则在以下各节中定义。 完成通过ID路…

打破边界:Facebook的社交实验与未来愿景

数字化时代,社交媒体已经成为人们日常生活的重要组成部分,而Facebook作为其中的佼佼者,一直在积极探索社交领域的新可能性。本文将探讨Facebook在社交实验和未来愿景方面的努力,以及其如何打破传统边界,开拓社交的新领…

UniGen:用于生成自动驾驶场景的初始智体状态和轨迹的统一建模

24年5月谷歌WayMo论文“UniGen: Unified Modeling of Initial Agent States and Trajectories for Generating Autonomous Driving Scenarios”。 本文介绍 UniGen,一种生成交通场景的新方法,用于通过仿真评估和改进自动驾驶软件。 其方法在一个统一的模…

【卫星影像三维重建-全流程代码实现】点云Mesh重构

点云—>Mesh模型 1.介绍1.1 背景1.2 效果示意 2 算法实现2.1 依赖库2.2 实验数据2.3 代码实现2.4 实验效果 3.总结 1.介绍 1.1 背景 (1)本文主要内容是将三维点云(离散的三维点)进行表面重建生成Mesh网格,之前有篇…

css中用于设置光标颜色的属性

caret-color 是一个 CSS 属性,它用于定义输入光标(caret)的颜色。这里的“插入光标”(insertion caret)指的是在网页的可编辑器区域内,用来指示用户的输入具体会插入到哪里的那个一闪一闪的形似竖杠 | 的东…

用Arm CCA解锁数据的力量

安全之安全(security)博客目录导读 目录 CCA将如何改变Arm架构呢? 在实践中部署CCA 释放数据和人工智能的全部力量和潜力 早期计算中最大的挑战之一是管理计算资源,以最大化计算效率同时提供给不同程序或用户分配资源的分离。这导致了我们今天大多数使用的时间…

QLExpress入门及实战总结

文章目录 1.背景2.简介3.QLExpress实战3.1 基础例子3.2 低代码实战3.2.1 需求描述3.2.1 使用规则引擎3.3.2 运行结果 参考文档 1.背景 最近研究低代码实现后端业务逻辑相关功能,使用LiteFlow作为流程编排后端service服务, 但是LiteFlow官方未提供图形界面编排流程。…

python获取网页表格数据

需求 需要网页中的基因(Gene Symbol),一共371个。 使用pandas读取网页表格 read_html 返回的是列表(a list of DataFrame) import pandas as pd import bioquest as bq url "http://exocarta.org/browse_resul…

《换你来当爹》:AI驱动的养成游戏,探索虚拟亲子关系的新模式

AI技术如何重塑我们对游戏互动的认知 在人工智能技术的浪潮下,一款名为《换你来当爹》的AI养成游戏,以其创新的互动模式和个性化体验,吸引了游戏爱好者的目光。这款游戏利用了先进的LLM技术,通过AI实时生成剧情和图片&#xff0c…

阿里云OSS配置跨域及域名访问

1、配置跨域 进入对象存储OSS–>OSS存储桶–>数据安全–>跨域设置–>创建规则 2、配置跨域 Etag x-oss-request-id3、配置结果如下 4、数据源配置 切换到数据管理–>静态页面 配置根页面 保存结果如下 5、配置域名访问 绑定域名 添加txt记录 验证绑定 …

人工智能引领工业园区智能化升级:AI视频监测助力安全生产管理

当前,许多工业园区面临着一个共同的挑战:大量的监控视频处于“沉睡”状态,无法主动预警风险,需要人工持续盯防。同时,由于生产现场工况复杂,高危场景的巡检工作不仅增加了人员的暴露频次,而且在…

智能座舱语音助手产品方案

一、用户调研与痛点分析 1.目标用户分析 用户画像 性别女性年龄50地域2-3线城市职业退休或退居二线教育中专、 大专、 本科财务家庭财务管理者爱好享受生活、 照顾家庭标签有闲有小钱二、产品定位与卖点提炼 购车目的 愉悦自我, 专属于自己的座驾: 家…