Hadoop在yarn上运行mr程序以及历史服务器的配置

yarn上运行mr程序

​​​配置yarn-env.sh​​​

配置yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>testnote01</value>
</property>

配置：​​mapred-env.sh​​

配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

​​hadoop-daemon.sh​​ start namenode和datanode分别启动

启动yarn

启动成功

在程序上执行案例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

map 0% reduce 0% map 100% reduce 0% map 100% reduce 100% 出现这个标识

在浏览器上可以查看

历史服务器的配置

vim的添加操作

<property>
      <name>mapreduce.jobhistory.address</name>
      <value>testnote01:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>testnote01:19888</value>
    </property>

成功

检查原来是否含有output,有就删除

hadoop fs -rmr /user/output

yarn的8088端口点击history

知道跑了几个map和reduce,

左上角的Configuration有详细的配置信息