hadoop启动hdfs时namenode消失

news/2024/12/17 22:02:00/文章来源:https://www.cnblogs.com/lian369/p/18613500

解决HDFS无法启动namenode,报错Premature EOF from inputStream;Failed to load FSImage file, see error(s) above for more info

 

一.情况描述

启动hadoop后发现无法打开hdfs web界面,50070打不开,于是jps发现少了一个namenode:

 查看日志信息,发现如下报错:

复制代码
2022-01-03 23:54:10,993 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Planning to load image: FSImageFile(file=/export/servers/hadoop-3.1.4/hadoopDatas/namenodeDatas/current/fsimage_0000000000000052563, cpktTxId=0000000000000052563)
2022-01-03 23:54:10,999 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/export/servers/hadoop-3.1.4/hadoopDatas/namenodeDatas/current/fsimage_0000000000000052563, cpktTxId=0000000000000052563)
java.io.IOException: Premature EOF from inputStreamat org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:212)at org.apache.hadoop.hdfs.server.namenode.FSImageFormat$LoaderDelegator.load(FSImageFormat.java:222)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:962)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:946)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImageFile(FSImage.java:807)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:738)at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:336)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1132)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:747)at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:652)at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:723)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:966)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:939)at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1705)at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1772)
2022-01-03 23:54:11,015 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Planning to load image: FSImageFile(file=/export/servers/hadoop-3.1.4/hadoopDatas/namenodeDatas2/current/fsimage_0000000000000052563, cpktTxId=0000000000000052563)
2022-01-03 23:54:11,015 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/export/servers/hadoop-3.1.4/hadoopDatas/namenodeDatas2/current/fsimage_0000000000000052563, cpktTxId=0000000000000052563)
java.io.IOException: Premature EOF from inputStreamat org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:212)at org.apache.hadoop.hdfs.server.namenode.FSImageFormat$LoaderDelegator.load(FSImageFormat.java:222)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:962)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:946)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImageFile(FSImage.java:807)at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:738)at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:336)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1132)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:747)at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:652)at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:723)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:966)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:939)at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1705)at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1772)
2022-01-03 23:54:11,021 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: Failed to load FSImage file, see error(s) above for more info.at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:752)at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:336)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1132)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:747)at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:652)at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:723)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:966)at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:939)at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1705)at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1772)
复制代码

二.解决方案

根据报错信息,发现是读取文件错误,后面即是文件路径名称,我这里是读取两个文件出错,然后删除日志中读取错误的文件(可以提前备份)

我这里已经删除了(.md5可以不删),之后重启hdfs,可以发现namenode已启动

 重新进入hdfs页面

 

原文链接:https://www.cnblogs.com/yuxuan-light-of-Taihu-Lake/p/15761074.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/854527.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

markdown最基本的语法快捷语法运用

Markdown学习 后缀xxx.md 标题: +标题名字(#后要加空格)或者ctrl+数字也可以快速 二级标题##(最后一个#后要加空格) 同理...(三级 四级 最多到六级...) 字体 hello,world! **之间的字体是斜体 引用 (>+空格) 分割线 三个-或者三个* 图片插入:!+[命名]+(图片链接地址…

【Azure Batch Account】批处理服务是否可以固定出口访问IP地址呢?

问题描述 使用Azure Batch Account服务(批处理),所访问的资源受防火墙保护。现在需要把Batch Account服务池中的实例地址IP加入到防火墙白名单中,但是由于Batch Account被没有指定的出口访问IP地址,所以需要把Batch Account服务的全部IP地址加入到白名单中,但是,它的范围…

Spring Bean 是单例的吗?如何保证并发安全?

引言 面试中,经常会被问到这样一个问题:“Spring Bean 是单例的吗?如果是单例如何保证并发安全呢?”,这两个问题看似没有关联,其实一点也不挨着 😂,为什么呢?请听我来“狡辩”。 首先,单例 Bean 本身并不会直接导致线程安全问题。真正影响线程安全性的因素是该单例对…

项目中的《访问者模式》

这个模式核心思想是将基本的数据对象和对应的操作相互分离。数据对象就只是数据对象,如果想要扩展操作,就扩展对应的visitor。 这种模式下的两次分派 第一次分派,是将对数据对象本身进行分派,可以有不同的实现。 第二次分派,是visitor接收不同的数据对象。 结果就是数据对…

【亲测能用】Photoshop 2025 v26.1.0正式版(ps2025下载)最新免费激活版

软件简介 说到 Adobe Photoshop,我们可以有把握地说它是当今排名第一的图形软件。世界各地数以百万计的设计师、摄影师和艺术家使用 Photoshop 将不可能变成可能。从海报到包装,从基本的横幅到精美的网站,从令人难忘的徽标到引人注目的图标,Photoshop 不断推动创意世界的发…

阅读笔记20241217

1、UAV实施无跑道着陆技术面临着巨大的挑战,不仅依赖于先进的飞行控制技术,而且还依赖于有效的轨迹优化方法。👉引出轨迹优化问题 (1)面临困难与挑战 (2)该技术在那些方面有广泛的应用 2、阐述现有的轨迹优化方法并分析优缺点👉引出凸优化算法 (1)间接法:将轨迹优…

麦肯锡高效解决复杂问题法:七步解决问题法 (又名:七步成诗法)

前言 在日常工作、生活中,会遇到各种各样的问题,有简单问题有复杂问题。 遇到简单的问题,马上就可以找到答案然后解决它。但是遇到复杂问题,模糊性大,不确定性多,这样的问题该怎么解决呢? 为了解决这种复杂的问题,有很多思维模型和分步骤分析框架被人们设计出来,这些框…

13line-height-CSS常见选择器-CSS伪类

一、line-height常用(非常重要的) line-height用于设置文本的行高 行高可以先简单的理解为一行文字所占据的高度主要作用是文本的行高 为什么文本需要行高呢?渲染出来给用户看起来比较舒服,为了方便文本的阅读有了行高之后可以明显的发现便于阅读了。行高的严格定义是:两行…

使用Swing组件

译自https://docs.oracle.com/javase/tutorial/uiswing/components/index.html 课程介绍 Using Top-Level Containers 本章讲解了如何使用 JFrame、JDialog 和 JApplet 类共享的功能——内容窗格、菜单栏和根窗格。还讨论了容器层次结构,即顶层容器所包含的组件树。 The JComp…

火灾监测报警摄像机助力建筑安全

火灾监测报警摄像机采用高清晰度摄像头和智能识别系统,能够全天候监测建筑内部的情况,一旦发现烟雾或火焰,系统会立即触发报警机制,及时通知建筑管理人员和消防部门,快速采取有效的灭火措施。这种实时监测和预警功能,大大提高了火灾的检测速度和处理效率,有效降低了火灾…

备份与恢复策略

title: 备份与恢复策略 date: 2024/12/17 updated: 2024/12/17 author: cmdragon excerpt: 数据备份与恢复是数据库管理中至关重要的组成部分,它确保在数据丢失、损坏或灾难发生时,能够快速恢复系统到正常运行状态。 categories:前端开发tags:数据备份 数据恢复 MySQL备份 灾…

漏水监测报警摄像机

漏水监测报警摄像机是一种智能设备,专门用于监测管道或设备的漏水情况,并能在检测到漏水时发出警报,帮助用户及时发现并处理水患。这种摄像机通常配备高清摄像头和敏感的水滴传感器,能够全天候地监测管道周围的情况。漏水监测报警摄像机是一种智能设备,专门用于监测管道或…