0
点赞
收藏
分享

微信扫一扫

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤


PS:全程以root的角色进行配置安装



第一部分:伪分布式配置


伪分布模式主要涉及一下配置信息: (1)修改hadoop的核心配置文件core-site.xml,主要配置hdfs的地址和端口号。 (2)修改hadoop中hdfs的配置文件hdfs-site.xml,只要配置replication(复制或备份)。 (3)修改hadoop中MapReduce的配置文件mapred-site.xml,主要配置JobTracker的地址和端口。 具体的操作步骤如下:

step_1:创建几个配置文件需要的目录,执行截图如下:


配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop



Step_2:配置core-site.xml文件


进入到相关目录下,打开core-site.xml文件,操作截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_02


在文件中添加配置信息,添加后的内容同如下截图所示: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_03

配置信息包括,hdfs默认端口号地址,临时文件存放目录信息!


Step_3:配置hdfs-site.xml文件


进入到相关目录下,打开hdfs-site.xml文件,操作截图如下:

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_04


在文件中添加配置信息,添加后的内容同如下截图所示:

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_05

设置hdfs的节点个数和信息,包括hdfs的节点路径、数据路径!


Step_4:配置mapred-site.xml文件


进入到相关目录,打开mapred-site文件,操作截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_06


在打开的文件中添加相关配置信息,截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_07

设置jobtracker的地址和端口号!


通过对上面三个文件的配置,最简单的伪分布式配置完成了!


第二部分:验证伪分布式开发环境是否搭建成功


通过第一部分对文件的修改,配置好了最简单的伪分布式,但不知道是否成功,第二部分,通过运行wordcount实例,用来测试是否配置成功!

Step_1:对hadoop的namenode格式化:


配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_HDFS_08


输入Y,完成格式化过程: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_HDFS_09



Step_2:启动hadoop并查询服务是否启动


配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_10

使用java自带的jps命令查询出所有的守护进程: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_11


Step_3:hadoop中用于监控集群的web页面:


dfs运行状态:​​http://localhost:50070/dfshealth.jsp​​

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_12


JobTracker信息界面:http:/localhost:50030/jobtracker.jsp

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_伪分布式模式环境搭建_13

上述hadoop运行状态监控页面表明伪分布开发环境完全搭建成功!


第三部分:在伪分布式平台运行wordcount程序


通过第二部分,表明伪分布式开发环境搭建成,该部分通过实例,来测试伪分布式开发环境是否可以正常使用?

Step_1:在dfs中创建input目录:



配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_14


此时创建的文件因为没有指定hdfs具体目录,所有会在当前用户下,创建input目录,查看web控制,操作截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_15

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_16

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_17



Step_2:复制本地目录下的文件到dfs的input目录下:


可以在web端查看input目录下的文件,如下图所示 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_18



Step_3:在伪分户式模式下运行wordcount程序


由于之前单机模式下运行过,在目录下存储output目录,在执行中需要进行删除处理,运行wordcoutn程序,操作截图如下(注意操作目录)截图如下:

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_19

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_20



Step_4:查看程序运行结果:


在web端查看,截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_21

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_22


通过命令行,显示运行结果截图: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_23

配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_HDFS_24



此时在hadoop的web控制台会发现提交并运行成功的任务,截图如下: 配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_配置Hadoop伪分布式模式_25



第四部分:关闭Hadoop服务


配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤_hadoop_26


通过四个部分,操作演示,Hadoop伪分布式环境搭建和测试完全成功,意味伪分布式能够正常使用!



举报

相关推荐

0 条评论