互联网Java工程师面试题·Elasticsearch 篇·第一弹

目录

1、elasticsearch 了解多少,说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

1.1  设计阶段调优

1.2  写入调优

1.3  查询调优

1.4  其他调优

2、elasticsearch 的倒排索引是什么

3、elasticsearch 索引数据多了怎么办,如何调优,部署

3.1 动态索引层面

3.2 存储层面

3.3 部署层面

4、elasticsearch 是如何实现 master 选举的

5、详细描述一下 Elasticsearch 索引文档的过程

6、详细描述一下 Elasticsearch 搜索的过程?

7、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法

8、lucence 内部结构是什么?

9、Elasticsearch 是如何实现 Master 选举的?

10、Elasticsearch 中的节点(比如共 20 个),其中的 10 个选了一个 master,另外 10 个选了另一个 master,怎么办?

11、客户端在和集群连接时,如何选择特定的节点执行请求的?


1、elasticsearch 了解多少,说说你们公司 es 的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

面试官 :想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大规模的索引设计、规划、调优。
解答
如实结合自己的实践场景回答即可。
比如: ES 集群架构 13 个节点,索引根据通道不同共 20+ 索引,根据日期,每日递增 20+ ,索引: 10 分片,每日递增 1 亿 + 数据,每个通道每天索引大小控制:150GB 之内。
仅索引层面调优手段:

1.1  设计阶段调优

1 、根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
2 、使用别名进行索引管理;
3 、每天凌晨定时对索引做 force_merge 操作,以释放空间;
4 、采取冷热分离机制,热数据存储到 SSD ,提高检索效率;冷数据定期进行 shrink操作,以缩减存储;
5 、采取 curator 进行索引的生命周期管理;
6 、仅针对需要分词的字段,合理的设置分词器;
7 Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。

1.2  写入调优

1 、写入前副本数设置为 0
2 、写入前关闭 refresh_interval 设置为 -1 ,禁用刷新机制;
3 、写入过程中:采取 bulk 批量写入;
4 、写入后恢复副本数和刷新间隔;
5 、尽量使用自动生成的 id

1.3  查询调优

1 、禁用 wildcard
2 、禁用批量 terms (成百上千的场景);
3 、充分利用倒排索引机制,能 keyword 类型尽量 keyword
4 、数据量大时候,可以先基于时间敲定索引再检索;
5 、设置合理的路由机制。

1.4  其他调优

部署调优,业务调优等。
上面的提及一部分,面试者就基本对你之前的实践或者运维经验有所评估了。

2elasticsearch 的倒排索引是什么

面试官 :想了解你对基础概念的认知。
解答 :通俗解释一下就可以。
传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置。
而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典 + 映射表,即为倒排索引。
有了倒排索引,就能实现 o 1 )时间复杂度 的效率检索文章了,极大的提高了检索效率。
学术的解答方式:
倒排索引,相反于一篇文章包含了哪些词,它从词出发,记载了这个词在哪些文档中出现过,由两部分组成—— 词典和倒排表。
加分项 :倒排索引的底层实现是基于: FST Finite State Transducer )数据结构。
lucene 4+ 版本后开始大量使用的数据结构是 FST FST 有两个优点:
1 、空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;
2 、查询速度快。 O(len(str)) 的查询时间复杂度。

3elasticsearch 索引数据多了怎么办,如何调优,部署

面试官 :想了解大数据量的运维能力。
解答 :索引数据的规划,应在前期做好规划,正所谓 设计先行,编码在后 ,这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
如何调优,正如问题 1 所说,这里细化一下:

3.1 动态索引层面

基于 模板 + 时间 +rollover api 滚动 创建索引,举例:设计阶段定义: blog 索引的模板格式为:blog_index_ 时间戳的形式,每天递增数据。
这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂 -1 ,索引存储达到了 TB+ 甚至更大。
一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 + 及早避免。

3.2 存储层面

冷热数据分离存储 ,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge shrink 压缩操作,节省存储空间和检索效率。

3.3 部署层面

一旦之前没有规划,这里就属于应急策略。
结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等规划合理 ,不需要重启集群也能完成动态新增的。

4elasticsearch 是如何实现 master 选举的

面试官 :想了解 ES 集群的底层原理,不再只关注业务层面了。
解答
前置前提:
1 、只有候选主节点( master true )的节点才能成为主节点。
2 、最小主节点数( min_master_nodes )的目的是防止脑裂。
这个我看了各种网上分析的版本和源码分析的书籍,云里雾里。
核对了一下代码,核心入口为 findMaster ,选择主节点成功返回对应 Master ,否则返回 null 。选举流程大致描述如下:
第一步:确认候选主节点数达标, elasticsearch.yml 设置的值
discovery.zen.minimum_master_nodes
第二步:比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则 id 小的值会主节点。注意这里的 id string 类型。

5、详细描述一下 Elasticsearch 索引文档的过程

面试官 :想了解 ES 的底层原理,不再只关注业务层面了。
解答
这里的索引文档应该理解为文档写入 ES ,创建索引的过程。
文档写入包含:单文档写入和批量 bulk 写入,这里只解释一下:单文档写入流程。
记住官方文档中的这个图。
第一步:客户写集群某节点写入数据,发送请求。(如果没有指定路由 / 协调节点,请求的节点扮演路由节点 的角色。)
第二步:节点 1 接受到请求后,使用文档 _id 来确定文档属于分片 0 。请求会被转到另外的节点,假定节点 3 。因此分片 0 的主分片分配到节点 3 上。
第三步:节点 3 在主分片上执行写操作,如果成功,则将请求并行转发到节点 1 和节点 2 的副本分片上,等待结果返回。所有的副本分片都报告成功,节点 3 将向协调节点(节点 1 )报告成功,节点 1 向请求客户端报告写入成功。
如果面试官再问:第二步中的文档获取分片的过程?
回答:借助路由算法获取,路由算法就是根据路由和文档 id 计算目标的分片 id 的过程。
1shard = hash(_routing) % (num_of_primary_shards)

6、详细描述一下 Elasticsearch 搜索的过程?

面试官 :想了解 ES 搜索的底层原理,不再只关注业务层面了。
解答
搜索拆解为 “query then fetch” 两个阶段。
query 阶段的目的:定位到位置,但不取。
步骤拆解如下:
1 、假设一个索引数据有 5 +1 副本 共 10 分片,一次请求会命中(主或者副本分片中)的一个。
2 、每个分片在本地进行查询,结果返回到本地有序的优先队列中。
3 、第 2 )步骤的结果发送到协调节点,协调节点产生一个全局的排序列表。
fetch 阶段的目的:取数据。
路由节点获取所有文档,返回给客户端。

7Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法

面试官 :想了解对 ES 集群的运维能力。
解答
1 、关闭缓存 swap;
2 、堆内存设置为: Min (节点内存 /2, 32GB ;
3 、设置最大文件句柄数;
4 、线程池 + 队列大小根据业务需要做调整;
5 、磁盘存储 raid 方式 —— 存储有条件使用 RAID10 ,增加单节点性能以及避免单节点存储故障。

8lucence 内部结构是什么?

面试官 :想了解你的知识面的广度和深度。
解答
        Lucene 是有索引和搜索的两个过程,包含索引创建,索引,搜索三个要点。可以基于这个脉络展开一些。
        最近面试一些公司,被问到的关于 Elasticsearch 和搜索引擎相关的问题,以及自己总结的回答。

9Elasticsearch 是如何实现 Master 选举的?

1 Elasticsearch 的选主是 ZenDiscovery 模块负责的,主要包含 Ping (节点之间通过这个 RPC 来发现彼此)和 Unicast (单播模块包含一个主机列表以控制哪些节点需要 ping 通)这两部分;
2 、对所有可以成为 master 的节点( node.master: true )根据 nodeId 字典排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第 0 位)节点,暂且认为它是 master 节点。
3 、如果对某个节点的投票数达到一定的值(可以成为 master 节点数 n/2+1 )并且该节点自己也选举自己,那这个节点就是 master 。否则重新选举一直到满足上述条件。
4 、补充: master 节点的职责主要包括集群、节点和索引的管理,不负责文档级别的管理;data 节点可以关闭 http 功能 *

10Elasticsearch 中的节点(比如共 20 个),其中的 10 个选了一个 master,另外 10 个选了另一个 master,怎么办?

1 、当集群 master 候选数量不小于 3 个时,可以通过设置最少投票通过数量(discovery.zen.minimum_master_nodes )超过所有候选节点一半以上来解决脑裂问题;
2 、当候选数量为两个时,只能修改为唯一的一个 master 候选,其他作为 data节点,避免脑裂问题。

11、客户端在和集群连接时,如何选择特定的节点执行请求的?

        TransportClient 利用 transport 模块远程连接一个 elasticsearch 集群。它并不加入到集群中,只是简单的获得一个或者多个初始化的 transport 地址,并以轮询 的方式与这些地址进行通信。

要想了解更多:

千题千解·Java面试宝典_时光の尘的博客-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/125682.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安卓教材学习

文章目录 教材学习第一行代码 Android 第3版环境配置gradle配置下载包出现问题 教材学习 摘要:选了几本教材《第一行代码 Android 第3版》,记录一下跑案例遇到的问题,和总结一些内容。 第一行代码 Android 第3版 环境配置 gradle配置 gradl…

【Overload游戏引擎分析】画场景网格的Shader

Overload引擎地址: GitHub - adriengivry/Overload: 3D Game engine with editor 一、栅格绘制基本原理 Overload Editor启动之后,场景视图中有栅格线,这个在很多软件中都有。刚开始我猜测它应该是通过绘制线实现的。阅读代码发现&#xff0…

MySQL:数据库的物理备份和恢复-冷备份(3)

介绍 物理备份: 直接复制数据文件进行的备份 优点:不需要其他的工具,直接复制就好,恢复直接复制备份文件即可 缺点:与存储引擎有关,跨平台能力较弱 逻辑备份: 从数据库中导出数据另存而进行的备…

【BBC新闻文章分类】使用 TF 2.0和 LSTM 的文本分类

一、说明 NLP上的许多创新是如何将上下文添加到词向量中。常见的方法之一是使用递归神经网络

全志ARM926 Melis2.0系统的开发指引⑧

全志ARM926 Melis2.0系统的开发指引⑧ 编写目的12.5. 应用程序编写12.5.1. 简单应用编写12.5.1.1. 注册应用12.5.1.2. 创建管理窗口12.5.1.3. 实现管理窗口消息处理回调函数12.5.1.4. 创建图层12.5.1.5. 创建 framewin12.5.1.6. 实现 framewin 消息处理回调函数 -. 全志相关工具…

全志ARM926 Melis2.0系统的开发指引⑦

全志ARM926 Melis2.0系统的开发指引⑦ 编写目的11. 调屏11.1. 调屏步骤简介11.1.1. 判断屏接口。11.1.2. 确定硬件连接。11.1.3. 配置显示部分 sys_config.fex11.1.3.1. 配置屏相关 IO 11.1.4. Lcd_panel_cfg.c 初始化文件中配置屏参数11.1.4.1. LCD_cfg_panel_info11.1.4.2. L…

python读取vivo手机截图,将满屏图片文件移动别的路径

问题之初 python读取vivo手机截图, 将满屏图片文件移动别的路径好多这样的图片,占用手机大量的内存,食之无味弃之可惜!那么会复制粘贴👀代码的我们我们今天就把这些图片筛选清理掉。 这段代码 原有逻辑的基础上&…

学信息系统项目管理师第4版系列18_采购管理

1. 协议 1.1. 合同 1.1.1. 国际合作的项目经理应牢记,无论合同规定如何详尽,文化和当地法律对合同及其可执行性均有影响 1.2. 服务水平协议(SLA) 1.3. 谅解备忘录 1.4. 协议备忘录(MOA) 1.5. 订购单 …

H5移动端购物商城系统源码 小型商城全新简洁风格全新UI 支持易支付接口

一款比较简单的 H5 移动端购物商城系统源码,比较适合单品商城、小型商城使用。带有易支付接口。 源码下载:https://download.csdn.net/download/m0_66047725/88391704 源码下载2:评论留言或私信留言

【小沐学Python】各种Web服务器汇总(Python、Node.js、PHP、httpd、Nginx)

文章目录 1、Web服务器2、Python2.1 简介2.2 安装2.3 使用2.3.1 http.server(命令)2.3.2 socketserver2.3.3 flask2.3.4 fastapi 3、NodeJS3.1 简介3.2 安装3.3 使用3.3.1 http-server(命令)3.3.2 http3.3.3 express 4、PHP4.1 简…

MySQL面试题合集

MySQL面经知识整理 文章目录 MySQL面经知识整理一、查询相关1.什么是MySQL的连接查询,左连接,右连接,内外连接2.SQL慢查询优化的方法3.大表查询如何优化 二、索引相关1.在MySQL中,可以通过哪些命令来查看查询是否使用了索引2.MySQL的最左匹配…

复习 --- 消息队列

进程间通信机制(IPC) 简述 IPC:Inter Process Communication 进程和进程之间的用户空间相互独立,但是4G内核空间共享,进程间的通信就是通过这4G的内核空间 分类 传统的进程间通信机制 无名管道(pipe) 有名管道&…