0
点赞
收藏
分享

微信扫一扫

hadoop入门(八):配置历史服务器与查看


文章目录

  • ​​一、配置服务器​​
  • ​​1.1 mapred-site.xml配送​​
  • ​​1.2 分发配置​​
  • ​​1.3 启动历史服务器​​
  • ​​1.4 执行测试程序​​
  • ​​1.5 查看history​​
  • ​​三、HDFS浏览器删除文件(额外补充)​​

一、配置服务器

1.1 mapred-site.xml配送

cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml

添加内容:

<!-- 历史服务器端地址 --> 
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>

如下:

hadoop入门(八):配置历史服务器与查看_服务器


说明:

  • 将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口
  • 历史服务器对外暴露的接口:用户查看集群里面的历史服务,从web页面查看,这个端口用的hadoop102:19888

先关闭dfs:

stop-dfs.sh

再启动:

start-dfs.sh

如下:

hadoop入门(八):配置历史服务器与查看_大数据_02

1.2 分发配置

执行分发:

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

如下:

hadoop入门(八):配置历史服务器与查看_hadoop_03

1.3 启动历史服务器

执行:

mapred --daemon start historyserver

如下:

hadoop入门(八):配置历史服务器与查看_mapreduce_04

1.4 执行测试程序

hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar wordcount /input/word.txt output2

如下:

hadoop入门(八):配置历史服务器与查看_mapreduce_05


hadoop入门(八):配置历史服务器与查看_大数据_06

1.5 查看history

继续回到:http://hadoop103:8088/cluster ,如下,这是个任务历史列表,选择自己对应的:

hadoop入门(八):配置历史服务器与查看_mapreduce_07

点击ID:

hadoop入门(八):配置历史服务器与查看_hadoop_08


hadoop入门(八):配置历史服务器与查看_hadoop_09


查看日志:

hadoop入门(八):配置历史服务器与查看_原力计划_10


hadoop入门(八):配置历史服务器与查看_服务器_11


hadoop入门(八):配置历史服务器与查看_mapreduce_12

三、HDFS浏览器删除文件(额外补充)

记录以下删除HDFS文件,前面不小心上传多了,语法如下:

hadoop fs -rm -r -skipTrash 文件地址

例如:

hadoop fs -rm -r -skipTrash /input/container-executor.cfg

再查看:

hadoop fs -ls /input

如下:

hadoop入门(八):配置历史服务器与查看_大数据_13


举报

相关推荐

0 条评论