Java向ES库中插入数据报错:I/O reactor status: STOPPED

Java向ES库中插入数据报错:java.lang.IllegalStateException: Request cannot be executed; I/O reactor status: STO

  • 一、问题
    • 问题原因
  • 二、解决思路


一、问题

在使用Java向ES库中插入数据时,第一次成功插入,第二次出现以下错误:
java.lang.IllegalStateException: Request cannot be executed; I/O reactor status: STOPPED at

问题原因

这里显示是连接中断,第一次遇到这个问题,比较疑惑为什么es的客户端会中断,理论上es client 是长连接,不停的有数据写入,连接一致存在,除非有服务端异常。在elasticsearch服务端查看日志,没有任何异常信息。

网上搜索错误信息原来是 Apache HTTPComponents 异步客户端问题。es官网有个issues详细的记录的这个问题的原因和修复建议。

官方的意见是 Apache HTTPComponents 异步客户端 使用了一个内部的I/O reactor 分发IO event。在某些情况下,IO reactor会记录程序调用栈中的异常或者Java NOI库中的异常,如果这些异常不被处理,I/O reactor会直接关闭,es client不可用,此时只能重启服务。es client中试图增加一个默认的 I/O reactor 异常处理逻辑但是在做了一些尝试后发现捕获I/O reactor后会导致SSL中断。而HTTPComponents 在版本5中已经修复了这个问题,最终官网给的建议是等待版本升级。

二、解决思路

解决问题的过程中参考了以下文档:
https://www.cnblogs.com/yangchongxing/p/15440197.html
https://github.com/elastic/elasticsearch/issues/42133
https://zhuanlan.zhihu.com/p/384269417
https://cloud.tencent.com/developer/article/1806886

主要获得解决方法的是以下:
https://github.com/elastic/elasticsearch/issues/39946
主要引用以下:
在这里插入图片描述
大概意思是说:
在每个线程需要时创建一个新的客户端,并在方法结束时关闭。这就解决了问题。
结合GPT获取解决方案:

import java.util.concurrent.Executors;
import java.util.concurrent.ExecutorService;public class EsClientManager {private final ExecutorService executorService = Executors.newFixedThreadPool(10);private final ThreadLocal<RestHighLevelClient> CLIENT_THREAD_LOCAL = ThreadLocal.withInitial(() -> {RestHighLevelClient client = null;try {client = RestHighLevelClient.builder(new HttpHost("localhost", 9200, "http")).build();return client;} catch (IOException e) {e.printStackTrace();return null;}});public RestHighLevelClient getClient() {return CLIENT_THREAD_LOCAL.get();}public void closeClient(RestHighLevelClient client) {CLIENT_THREAD_LOCAL.remove();if (client != null) {executorService.execute(() -> {try {client.close();} catch (IOException e) {e.printStackTrace();}});}}
}

在使用时,同样可以这样:

public class MyService {public void someMethod() {RestHighLevelClient client = EsClientManager.getClient();try {// 执行操作} finally {EsClientManager.closeClient(client);}}
}

这样,每个线程都会从EsClientManager获取一个客户端,并在方法结束时自动关闭。

线程池不允许使用 Executors 去创建,而是通过 ThreadPoolExecutor 的方式,进一步,优化:

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.LinkedBlockingQueue;public class EsClientManager {private final ExecutorService executorService;private final ThreadLocal<RestHighLevelClient> CLIENT_THREAD_LOCAL = ThreadLocal.withInitial(() -> {RestHighLevelClient client = null;try {client = RestHighLevelClient.builder(new HttpHost("localhost", 9200, "http")).build();return client;} catch (IOException e) {e.printStackTrace();return null;}});public EsClientManager() {// 配置 ThreadPoolExecutorint corePoolSize = 10; // 核心线程数int maximumPoolSize = 10; // 最大线程数long keepAliveTime = 0L; // 空闲线程等待新任务的最长时间TimeUnit unit = TimeUnit.MILLISECONDS; // keepAliveTime的时间单位int queueCapacity = 100; // 工作队列的容量ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize,maximumPoolSize,keepAliveTime,unit,new LinkedBlockingQueue<>(queueCapacity), // 工作队列runnable -> {Thread thread = new Thread(runnable);thread.setDaemon(false); // 设置线程是否为守护线程,false表示非守护线程return thread;});this.executorService = Executors.unconfigurableExecutorService(executor);}public RestHighLevelClient getClient() {return CLIENT_THREAD_LOCAL.get();}public void closeClient(RestHighLevelClient client) {CLIENT_THREAD_LOCAL.remove();if (client != null) {executorService.execute(() -> {try {client.close();} catch (IOException e) {e.printStackTrace();}});}}// 添加方法以允许关闭executorServicepublic void shutdown() {executorService.shutdown();}public boolean isShutdown() {return executorService.isShutdown();}public boolean isTerminated() {return executorService.isTerminated();}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/494313.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

StarRocks之监控管理(内含DashBoard模板)

先看下最终效果图 架构 Prometheus 是一个拥有多维度数据模型的、灵活的查询语句的时序数据库。它可以通过 Pull 或 Push 采集被监控系统的监控项,存入自身的时序数据库中。并且通过丰富的多维数据查询语言,满足用户的不同需求。 Grafana 是一个开源的 Metric 分析及可视化系…

RK3568平台开发系列讲解(基础篇)如何快速学习一套 Linux开发板源码

🚀返回专栏总目录 文章目录 一、基础代码二、驱动代码沉淀、分享、成长,让自己和他人都能有所收获!😄 拿到一份源码和一块评估板,如何快速找到与这块板相关的源码,是很多研发人员都曾遇到过的问题。如果对内核源码结构有大概了解,要完成这些事情也不难,通常可按照基础…

java:关于类的基础知识

一、类和对象 1.什么是类 类是对现实生活中一类具有共同属性和行为的事物的抽象。 2.类的特点&#xff1a; 类是对象的数据类型类是具有相同属性和行为的一组对象的集合 3.什么是对象的属性 属性&#xff1a;对象具有的各种特征&#xff0c;每个对象的每个属性都拥有特定…

GDB之(1)入门指令参数介绍

GDB之(1)基础入门指令参数介绍 Author&#xff1a;Once Day Date: 2022年7月29日/2024年2月26日 漫漫长路&#xff0c;才刚刚开始… 全系列文章请查看专栏: Linux实践记录_Once-Day的博客-CSDN博客 推荐参考文档&#xff1a; GDB: The GNU Project Debugger (sourceware.o…

java数据结构与算法刷题-----LeetCode530. 二叉搜索树的最小绝对差

java数据结构与算法刷题目录&#xff08;剑指Offer、LeetCode、ACM&#xff09;-----主目录-----持续更新(进不去说明我没写完)&#xff1a;https://blog.csdn.net/grd_java/article/details/123063846 解题思路&#xff1a;时间复杂度O(n)&#xff0c;空间复杂度O(n) 一个有序…

Day02:Web架构前后端分离站Docker容器站集成软件站建站分配

目录 常规化站点部署 站库分离 前后端分离 集成软件搭建Web应用 Docker容器搭建Web应用 建立分配站 静态 与 伪静态 总结 章节知识点&#xff1a; 应用架构&#xff1a;Web/APP/云应用/三方服务/负载均衡等 安全产品&#xff1a;CDN/WAF/IDS/IPS/蜜罐/防火墙/杀毒等 渗…

docker创建mongodb数据库容器

介绍 本文将通过docker创建一个mongodb数据库容器 1. 拉取mongo镜像 docker pull mongo:3.63.6版本是一个稳定的版本&#xff0c;可以选择安装此版本。 2. 创建并启动主数据库 容器数据卷配置 /docker/mongodb/master/data # 数据库数据目录&#xff08;宿主机&am…

顺丰科技2024届春季校园招聘常见问题解答及SHL测评题库

顺丰科技2024届春季校园招聘常见问题解答及SHL测评题库 Q&#xff1a;顺丰科技2024届校园招聘面向对象是&#xff1f; A&#xff1a;2024届应届毕业生&#xff0c;毕业时间段为2023年10月1日至2024年9月30日&#xff08;不满足以上毕业时间的同学可以关注顺丰科技社会招聘或…

LCR 128. 库存管理 I

解题思路&#xff1a;二分法 class Solution {public int stockManagement(int[] stock) {int i 0,j stock.length-1;while(i < j){int m (i j)/ 2;if (stock[j] > stock[m]) j m;else if (stock[j] < stock[m]) i m1;else j--;}return stock[i];} }

2024环境工程、可再生能源与可持续发展国际会议(ICEERESD2024)

2024环境工程、可再生能源与可持续发展国际会议(ICEERESD2024) 一、【会议简介】 我代表2024环境工程、可再生能源与可持续发展国际会议(ICEERESD2024)组委会&#xff0c;诚挚地邀请您参加这次将在美丽的西安举行的会议。 这次会议旨在为环境工程、可再生能源和可持续发展领域…

I Doc View在线文档预览qJvqhFt.json接口存在任意文件读取漏洞 附POC软件

@[toc] I Doc View在线文档预览qJvqhFt.json接口存在任意文件读取漏洞 附POC软件 免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关…

C语言--- 指针(3)

一.字符指针变量 在指针的类型中&#xff0c;我们知道有一种指针类型为字符指针char * 一般使用&#xff1a; #include<stdio.h> int main() {char ch a;char* p &ch;*p b;printf("%c\n",ch);return 0; } 其实还有一种使用方式 &#xff1a; #inc…