0
点赞
收藏
分享

微信扫一扫

hadoop学习配置历史服务器、日志的聚集


现在还没有配置历史服务器:执行一个job

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/atguigu/input /user/atguigu/output2

hadoop学习配置历史服务器、日志的聚集_重启


hadoop学习配置历史服务器、日志的聚集_服务器_02


hadoop学习配置历史服务器、日志的聚集_重启_03


hadoop学习配置历史服务器、日志的聚集_hadoop_04


我们刚才执行了一个job,在hdfs产生了/user/atguigu/output2目录,在yarn上显示出了一个job

hadoop学习配置历史服务器、日志的聚集_hadoop_05

hadoop学习配置历史服务器、日志的聚集_hadoop_06


准备重启yarn,会发现job消失了

hadoop学习配置历史服务器、日志的聚集_hadoop_07


hadoop学习配置历史服务器、日志的聚集_hadoop_08


配置历史服务器:

hadoop学习配置历史服务器、日志的聚集_重启_09


配置这个文件

hadoop学习配置历史服务器、日志的聚集_服务器_10


然后再分发一下

hadoop学习配置历史服务器、日志的聚集_服务器_11


可以看到我们把历史服务器放到102上

hadoop学习配置历史服务器、日志的聚集_重启_12


hadoop学习配置历史服务器、日志的聚集_服务器_13


hadoop学习配置历史服务器、日志的聚集_重启_14


我们再yarn上已经看不到的东西但是再历史服务器上可以看到

hadoop学习配置历史服务器、日志的聚集_hadoop_15


hadoop学习配置历史服务器、日志的聚集_重启_16


配置一下日志的聚集功能:

还没有配置日志之前,只能到logs里面去看

hadoop学习配置历史服务器、日志的聚集_服务器_17


hadoop学习配置历史服务器、日志的聚集_服务器_18


hadoop学习配置历史服务器、日志的聚集_重启_19

hadoop学习配置历史服务器、日志的聚集_服务器_20


hadoop学习配置历史服务器、日志的聚集_服务器_21


配置yarn-site.xml

hadoop学习配置历史服务器、日志的聚集_hadoop_22


hadoop学习配置历史服务器、日志的聚集_hadoop_23


hadoop学习配置历史服务器、日志的聚集_重启_24


之后再分发一下,重启yarn,重启历史服务器

hadoop学习配置历史服务器、日志的聚集_服务器_25


重新启动完yarn和历史服务器时候,需要再重新去跑一个job

之前泡过的job还是看不到日志。

hadoop学习配置历史服务器、日志的聚集_服务器_21


hadoop学习配置历史服务器、日志的聚集_hadoop_27


所以现在如果跑一个job报错了,既可以在Web服务器http://hadoop102:19888/去看logs

也可以在xshell路径为:去查看

hadoop学习配置历史服务器、日志的聚集_hadoop_28


hadoop学习配置历史服务器、日志的聚集_hadoop_29


举报

相关推荐

0 条评论