0
点赞
收藏
分享

微信扫一扫

Hadoop系列--MapReduce运行模式

罗子僧 2022-03-23 阅读 107



1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(hadoop-mapreduce.jar),上传到服务器


     执行命令    hadoop jar hadoop-mapreduce.jar com.test.hadoop.mr.wordcount.WordCountRunner


     这种方式会将这个job提交到yarn集群上去运行




2、在Linux的eclipse中直接启动Runner类的main方法,这种方式可以使job运行在本地,也可以运行在yarn集群


     ----究竟运行在本地还是在集群,取决于一个配置参数


            mapreduce.framework.name == yarn (local)


     ----如果确实需要在eclipse中提交到yarn执行,必须做好以下两个设置


           将mr工程打成jar包(wc.jar),放在工程目录下,  把/opt/soft/hadoop-2.7.3/etc/hadoop/目录中的core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml拷贝到src下,在工程的main方法中,加入一个配置参数   conf.set("mapreduce.job.jar","wc.jar");




3、在windows的eclipse中运行本地模式,步骤为:


    ----a、在windows中找一个地方放一份hadoop的安装包,并且将其bin目录配到环境变量中


    ----b、根据windows平台的版本(32?64?win7?win8?),替换掉hadoop安装包中的本地库(bin,lib)


    ----c、mr程序的工程中不要有参数mapreduce.framework.name的设置



举报

相关推荐

0 条评论