maxwell采集数据到kafka报错

问题: 启动maxwell后出现数据更新后就出现以下报错。

在这里插入图片描述

13:29:14,727 ERROR MaxwellKafkaProducer - TimeoutException @ Position[BinlogPosition[binlog.000002:12215591], lastHeartbeat=1700717043797] -- maxWellData: medical:consultation:[(id,212)] 
13:29:14,728 ERROR MaxwellKafkaProducer - Expiring 35 record(s) for maxWellData-0: 30005 ms has passed since batch creation plus linger time

排查过程:

1.排查maxwell:配置maxwell输出到控制台,发现采集数据后正常输出,说明maxwell配置正常。

[root@VM-4-10-centos maxwell]# bin/maxwell --user='maxwell'  \
> --password='maxwell' \
> --host='10.0.4.10' \
> --producer=stdout

在这里插入图片描述
2.使用logstash采集数据到kafka

logstash使用说明:https://blog.csdn.net/m0_52606060/article/details/134499513?spm=1001.2014.3001.5501

input {generator {message => '14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"'count => 1}
}output {stdout {codec => rubydebug}kafka {bootstrap_servers => "101.91.153.39:9092,61.171.111.6:9092,61.171.100.138:9092"codec => json_linestopic_id => "maxWellData"}
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题:logstash也无法输出数据到kafka,报错无法识别主机名称(图中报错的是我的内网ip映射别名)。这个地址是远程服务器的实例名称(天翼云服务器)。自己配置的明明是ip,程序内部却去获取他的别名,那如果生产者所在机器上没有配置这个ip的别名,就不能解析到对应的ip,所以连接失败报错。

原因:我用的阿里云服务器部署的maxwell向天翼云kafka集群发送数据不在同一个内网下,使用公网IP导致识别不了。 解决方法:做对应hosts映射。

在这里插入图片描述

修改后重新启动logstash发现数据写入kafka成功。

在这里插入图片描述

再次启动maxwell,发现写入kafka正常。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/210879.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode—14.最长公共前缀【简单】

2023每日刷题(三十八) Leetcode—14.最长公共前缀 实现代码 char* longestCommonPrefix(char** strs, int strsSize) {char *ans (char *)malloc(sizeof(char) * 203);char *p ans;int len 1, i 1;int flag 0;if(strsSize 0) {return "&quo…

手把手教你如何提交App备案

手把手教你如何提交App备案 随着工信部出台了《工业和信息化部关于开展移动互联网应用程序备案工作的通知》对于我司所使用的到的移动应用APP就需要做app备案,今天用游戏app手把手教你如何提交App备案。 基本操作流程 运营、市场 提供需要备案的APP名称、主体、A…

企业数字化转型的作用是什么?_光点科技

在当今快速变化的商业环境中,数字化转型已成为企业发展的重要策略。企业数字化转型指的是利用数字技术改造传统业务模式和管理方式,以提升效率、增强竞争力和创造新的增长机会。 提升运营效率:数字化转型通过引入自动化工具和智能系统&#x…

MySQL数据库_01

Web后端开发_02 数据库介绍 什么是数据库? 数据库:DataBase(DB),是存储和管理数据的仓库 数据库管理系统:DataBase Management System (DBMS),操纵和管理数据库的大型软件。SQL:St…

万宾科技智能井盖传感器使用方式,具有什么效果?

有问题的井盖可能导致人们在行走或驾驶时不经意地踩中或碰到,从而导致摔倒、扭伤或交通事故等安全事故。有问题的井盖可能会破坏井盖和下方污水管道之间的密封性,导致污水泄漏。这不仅会对环境造成污染,还可能对公共卫生和健康构成威胁。 将智…

【速看】如何提高微信权重?影响微信权重的加分、扣分行为

微信具有一套权重判定系统,类似于搜索引擎的PR值,可以看做是一个“积分系统”。好的操作会增加积分,负面操作会减少积分。 当积分低于特定标准(即底线)时,将会被严重惩罚或封号。这样,微信确保了…

APM工具skywalking部署

一 整体架构 整个架构,分成上、下、左、右四部分: 上部分 Agent :负责从应用中,收集链路信息,发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是&…

S71200通过PROFINET协议和岛电数字控制器通讯

项目要求 西门子S71200PLC需要通过PROFINET协议和岛电数字控制器(型号:SRS13A)通讯,读取温度的测量值PV和设定值SV。 项目实施 采用NET90-PN-MBT(以下简称“网关”),它是一款将Modbus TCP/RT…

mybatis 基本操作 删除 插入 更新 查询

根据主键删除数据 插入数据 -- 插入 insert into emp(username, name, gender, image, job, entrydate, dept_id, create_time, update_time) values (tom,塔姆,tom,1 , 1.png ,now(),1,now(),now() Options(keyProperty "id",useGeneratedKeys true) Insert(&quo…

小黑子—Maven高级

Maven高级篇 二 小黑子的Maven高级篇学习1. 分模块开发1.1 分模块开发设计1.2 分模块开发实现1.2.1 抽取domain层1.2.2 抽取dao层 2. 依赖管理2.1 依赖传递2.2 可选依赖2.3 排除依赖 3. 继承与聚合3.1 聚合3.2 继承3.3 总结 4. 属性4.1 配置文件加载属性4.2 版本管理 5. 多环境…

《实现领域驱动设计》笔记——上下文映射图

一个项目的上下文映射图可以用方式来表示。比较容易的一种是画一个简单的框图表示两个或多个限界上下文之间的映射关系。该框图表示了不同的限界上下文在解决方案空间中是如何通过集成相互关联的。另一种更详细的方式是通过限界上下文集成的源代码实现来表示。 上下文映射图为什…

Selenium(12):层级定位_通过父元素找到子元素

层级定位 在实际的项目测试中,经常会遇到无法直接定位到需要选取的元素,但是其父元素比较容易定位,通过定位父元素再遍历其子元素选择需要的目标元素,或者需要定位某个元素下所有的子元素。 层级定位的思想是先定位父对象&#xf…