使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数(一)

news/2025/3/16 13:22:39/文章来源:https://www.cnblogs.com/infinilabs/p/18774817

本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数,此方法同样适用于 Opensearch 和 INFINI Easysearch 。

在之前的文章中,我们介绍了如何阻断不合理的查询。有些不合理查询是本身就非常消耗资源,比如模糊查询、嵌套聚合等。还有些不合理查询是因为指定了不合理的参数导致非常消耗资源,比如深度分页、profile 查询等。

不合理参数

所谓不合理参数可以简单理解为,赋值不恰当的参数。有些参数甚至是必要的,只是因为赋值不恰当导致过度消耗资源,这种情况把参数值修改成合理值就行了。还有些参数是在特定场景下使用的,比如调试类的参数,这种参数可以考虑删除或者将值修改成 fasle 。

比如下面的查询:

GET test/_search
{"size": 10000,"track_total_hits": true,"query": {"match": {"test": "test"}}
}

这里的 size 和 track_total_hits 都是可以优化的地方。还有一些调试查询也是毕竟消耗资源的,生产上尽量避免,比如:

GET test/_search
{"query": {"match": {"test": "test"}},"profile": "true","explain": true
}

request_body_json_set

通过 INFINI Gateway 的 request_body_json_set 过滤器,可以修改 JSON 格式请求体里的字段值。上面的查询我们可以修改 INFINI Gateway 的默认配置增加 request_body_json_set 部分如下

flow:- name: default_flowfilter:- request_body_json_set:path:- explain -> false- size -> 10- track_total_hits -> false- profile -> false- elasticsearch:elasticsearch: prodmax_connection_per_node: 1000

修改效果

未使用 request_body_json_set 之前的查询语句是下面这样的。

使用 request_body_json_set 后的语句如下图。

可以看到我们成功地修改了查询参数。有的朋友可能会问,怎么提前知道查询里有什么不合理参数呢?这个好办,INFINI Gateway 本身就有记录查询语句的功能,详情请参考文档。记录下来的请求信息可以进一步分析、展示。遇到需要修改查询参数的情况,可以参考本文的处理方法。

关于极限网关(INFINI Gateway)

INFINI Gateway 是一个开源的面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway,可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

官网文档:https://docs.infinilabs.com/gateway/main/
开源地址:https://github.com/infinilabs/gateway

作者:杨帆,极限科技(INFINI Labs)高级解决方案架构师、《老杨玩搜索》栏目 B 站 UP 主,拥有十余年金融行业服务工作经验,熟悉 Linux、数据库、网络等领域。目前主要从事 Easysearch、Elasticsearch 等搜索引擎的技术支持工作,服务国内私有化部署的客户。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/899773.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

20242931 2024-2025-2 《网络攻防实践》第三周作业

20242931 2024-2025-2 《网络攻防实践》第三周作业 1. 实验内容 (1)动手实践tcpdump 使用tcpdump开源软件对在本机上访问www.baidu.com网站过程进行嗅探,回答问题:你在访问www.baidu.com网站首页时,浏览器将访问多少个Web服务器?他们的IP地址都是什么? (2)动手实践Wir…

Android开发--Lesson02--常见的控件

一.简单空间 TextView TextView用来显示文本信息,可以在XML文件中添加并且添加其相对的样式:它的样式主要有以下内容:<TextViewandroid:id="@+id/textViewExample" <!-- 设置TextView的唯一标识符,用于在代码中引用 -->android:layout_width="wra…

AI编程:最疯狂的MCP服务器你一定要试试

我还记得我第一次听说MCP(模型上下文协议)的时候,我心想: “哈?又一个花里胡哨的缩写,这个世界已经快被这些缩写淹没了!” 但当我意识到MCP就像AI界的通用连接器——就像USB-C之于手机和笔记本电脑——我瞬间兴奋了。 再也不用折腾那些只能在某个地方工作的插件或奇怪的…

20241217实验一《Python程序设计》实验报告

20241217 2024-2025-2 《Python程序设计》实验一报告 课程:《Python程序设计》 班级: 2412 姓名: 黄迅 学号:20241217 实验教师:王志强 实验日期:2025年3月12日 必修/选修: 公选课 一、实验内容 1.熟悉Python开发环境; 2.练习Python运行、调试技能;(编写书中的程序…

域自适应

信息时代产生的大量数据使机器学习技术成功地应用在许多领域。大多数机器学习技术需要满足训练集与测试集独立同分布的假设,但在实际应用中这个假设很难满足。 域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术。一般情况下的域适应只适用于源域目标域特征空…

JDK8-时间格式化类-时区类-工具类--java进阶day07

1.时间格式化类:DateTimeFormatter1.创建方式 使用DateTimeFormatter调用ofPattern方法即可. 2.格式化方法创建好DateTimeFormatter对象后,调用format方法,将要格式化的日期对象放入即可.3.日期字符串解析 将一个日期字符串变为日期,需要用到日历类对象,调用它的parse方法…

无人机仿真环境介绍及其配置

博客地址:https://www.cnblogs.com/zylyehuo/参考 https://space.bilibili.com/393165606/channel/collectiondetail?sid=1750583&spm_id_from=333.788.0.0仿真器 VS 模拟器目录为什么要学习 ROS 发展现状课程介绍ROS 是什么 历史起源总体设计 一个目标五个特点点对点的设…

为什么 AI 在处理新闻方面如此糟糕

托马斯史密斯插画来源:Ideogram新闻流淌在我的血液里。我的日常工作是一家新闻摄影机构的负责人,而我的主网站是一个专注于旧金山湾区新闻的站点。 我与新闻内容息息相关,所以我对 AI 在处理新闻方面的糟糕表现感受尤为深刻。 哥伦比亚新闻评论(Columbia Journalism Review…

活动回顾 - 《开源智能搜索与知识库管理 - Coco AI》直播活动圆满结束,附 PPT 下载与视频回放

2025 年 03 月 07 日,由搜索客社区和极限科技(INFINI Labs)联合举办的第 7 期线上 Meetup 技术交流直播活动圆满结束。本期 Meetup 直播活动吸引了超过 700+ 技术爱好者观看参与,活动主要介绍了极限科技新推出并正在研发的开源智能搜索产品 Coco AI 的技术特点和应用场景,…

一文带你搞懂SpringBoot项目实现自动化部署

前言要实现springboot项目自动化部署,需要了解下面四个技术点:SpringBoot Profiles Maven命令 Jenkins的使用 Shell脚本下面我们会一一来介绍这四个技术点,最后用一个综合事例来给大家呈现springboot项目的自动化部署。1. SpringBoot Profilesprofiles 是 Spring 框架的一种…

centos更改命令提示符颜色

PS1="\[\e[1;32m\][\t \[\e[1;33m\]\u\[\e[35m\]@\h\[\e[1;31m\] \W\[\e[1;32m\]]\[\e[0m\]\\$"永久生效vim /etc/profile.d/test.sh PS1="\[\e[1;32m\][\t \[\e[1;33m\]\u\[\e[35m\]@\h\[\e[1;31m\] \W\[\e[1;32m\]]\[\e[0m\]\\$"效果: PS1的定义中个常…

P1600 [NOIP 2016 提高组] 天天爱跑步解析

思维难度:cf2300+ 实现方案:贡献计算 方法:线段树合并或者树上差分+桶的统计 思路点补充: 按照题目的设定,如果一个观察员 \(j\) 能够观察到某个人经过,说明 \(j\)一定在第 \(i\)个人的路径上。 树上的路径是唯一确定的,由此可以得到两种情况。 情况一:观察员 \(j\) 此…