温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1
文档编写目的
在Hadoop集群有大量的MapReduce作业，为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志，通过作业的详细的日志更快速的定位问题并解决，同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。
- 测试环境
1.RedHat7.3
2.CDH5.16.1
2
配置MapReduce作业日志级别
1.登录Cloudera Manager并进入Yarn的配置界面，在Gateway范围搜索“mapred-site”
2.在mapred-site.xml配置项增加如下配置
<property>
<name>mapreduce.reduce.log.level</name>
<value>DEBUG</value>
</property>
<property>
<name>mapreduce.map.log.level</name>
<value>DEBUG</value>
</property>
<property>
<name>yarn.app.mapreduce.am.log.level</name>
<value>DEBUG</value>
</property>
以上配置支持的日志级别有如下：
OFF
FATAL
ERROR
WARN
INFO (default)
DEBUG
TRACE
ALL
完成上述操作后，保存配置后重新部署Yarn的Gateway客户端即可。
3
MapReduce作业日志验证
1.在命令行向集群提交一个MapReduce作业
[root@ip-172-31-6-83 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5
2.打开Yarn的8088界面查看作业日志输出情况，可以看到Map、 Reduce和AM的日志已修改为DEBUG级别
4
总结
1.通过Cloudera Manager方便的配置MapReduce作业的日志输出级别。
2.可以在Yarn Gateway客户端的mapred-site.xml配置文件中添加Map、Reduce和AM的日志级别。
3.通过配置作业的日志级别可以更方便的定位问题，同样也可以减少作业的日志输出量以降低HDFS空间的占用量。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
