0
点赞
收藏
分享

微信扫一扫

hadoop配置日志聚焦功能

洛茄 2022-02-24 阅读 70


日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。

停止所有进程,依次为

mr-jobhistory-daemon.sh stop jobhistoryserver
yarn-daemon.sh stop nodemanager
yarn-daemon.sh stop resourcemanager
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop namenode

关闭所有的服务后

配置yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

启动集群顺序

hadoop-daemon.sh start namenode 
hadoop-daemon.sh start datanode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver

所有进程

[root@testnote01 hadoop-2.7.2]# jps
5186 JobHistoryServer
5026 NodeManager
4675 DataNode
5219 Jps
4588 NameNode
4783 ResourceManager

删除原output并启动案例

hadoop fs -rmr /user/output
hadop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

hadoop配置日志聚焦功能_hadoop

hadoop配置日志聚焦功能_mapreduce_02

hadoop配置日志聚焦功能_jar_03

完毕



举报

相关推荐

0 条评论