MapReduce的jobHistory介绍

        我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的​JobHistoryServer​，我们可以启动一个进程，专门用于查看我们的任务提交的日志。​JobHistoryServer​会记录已运行完的MapReduce信息到指定的HDFS目录下,默认是不开启的!

        接下来小菌将分享如何在CDH集群环境下开启jobHistory服务。(不清楚集群环境搭建的小伙伴们可以参考小菌之前的博客哦(Hadoop(CDH)分布式环境搭建)

文章目录

• ​​第一步：node01修改mapred-site.xml​​
• ​​第二步：node01修改yarn-site.xml​​
• ​​第三步：修改后的文件分发到其他机器上面去​​
• ​​第四步：重启yarn集群以及启动jobHistoryServer进程​​
• ​​第五步：页面访问jobhistoryserver​​

第一步：node01修改mapred-site.xml

node01服务器修改​mapred-site.xml​，添加以下配置
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
  </property>

第二步：node01修改yarn-site.xml

node01服务器修改​yarn-site.xml​，添加以下配置
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
<!--指定文件压缩类型用于压缩汇总日志-->
<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/export/servers/hadoop-2.6.0/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>

第三步：修改后的文件分发到其他机器上面去

将node01修改后的mapred-site.xml和yarn-site.xml分发到其他机器上面去
​node01​执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
scp mapred-site.xml ![在这里插入图片描述](https://img-blog.csdnimg.cn/20191103222447892.gif) yarn-site.xml node02:$PWD
scp mapred-site.xml  yarn-site.xml node03:$PWD

第四步：重启yarn集群以及启动jobHistoryServer进程

node01执行以下命令重启yarn集群

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/stop-yarn.sh
sbin/start-yarn.sh

启动jobhistoryserver

sbin/mr-jobhistory-daemon.sh start historyserver

第五步：页面访问jobhistoryserver

访问路径: http://192.168.100.100:19888/jobhistory (蓝色部分换成Namenode所在节点的ip)

看到如下效果图则说明jobHistory进程成功开启!

当然,在Namenode所在节点上可以用​​jps​​查看当前的所有进程情况

        本次的分享就到这里了,喜欢的小伙伴们可以点个赞,加个关注再走吖​​ヾ(@^▽^@)ノ​​