0
点赞
收藏
分享

微信扫一扫

记录一次hadoop namenode fsimage不更新问题

岁月不饶人老不正经 2022-04-29 阅读 49
java后端

前言

之前Hadoop namenode机器扩容过一次,扩容之后感觉老是有问题。今天上去看了下namenode的fsimage镜像好久没从内存写到硬盘上了,想找找什么问题。对hadoop也不太熟悉,也是慢慢摸索阶段

启动SecondaryNameNode

启动命令

hadoop-daemon.sh start secondarynamenode

然后执行jps发现没有启动起来,
去查看日志,发现了一个报错

Cannot use SecondaryNameNode in an HA cluster. The Standby Namenode will perform checkpointing.

后面查了查资料,才知道原来在2.x之后的版本已经不用SecondaryNameNode来把edits合并到fsimage了

检查Standby Namenode

按道理来说namenode会更新fsimage啊,于是我就登录另一台namenode,我一看,这台机器的namenode挂了。。。(论监控的重要性,下一个hadoop监控项就是它了)。

查看了一下错误日志,发现是扩容机器的journal服务不正常,导致这台机器的namenode挂了。

检查journalnode

登录扩容后的机器查看journal日志,发现是目录当初只创建到journal指定的目录,目录下面还有两级目录需要创建,创建了之后再去启动namenode,过了一个小时就好了

举报

相关推荐

0 条评论