0
点赞
收藏
分享

微信扫一扫

hadoop完全分布式环境搭建实操(6)


目录

  • ​​完全分布式环境搭建实操​​
  • ​​1.前提条件​​
  • ​​2.修改伪分布式环境的几个hadoop的配置文件​​
  • ​​core-site.xml(不需要改)​​
  • ​​hdfs-site.xml(需要改)​​
  • ​​hadoop-env.sh(不需要改)​​
  • ​​yarn-site.xml(需要改)​​
  • ​​mapred-site.xml (可以修改)​​
  • ​​yarn-env.sh、mapred-env.sh(不需要改)​​
  • ​​slaves(需要修改)​​
  • ​​3.克隆bigdata121的hadoop配置文件​​
  • ​​scp文件传输(重点)​​
  • ​​1.scp到bigdata122​​
  • ​​2.scp到bigdata123​​
  • ​​3.查看​​
  • ​​4.格式化Namenode​​
  • ​​5.统一3台服务器的时间​​
  • ​​6.启动dfs​​
  • ​​7.启动yarn​​
  • ​​8.测试​​
  • ​​写个测试文件:​​
  • ​​上传到test文件到dfs的根目录上去​​
  • ​​执行wordcount程序​​

完全分布式环境搭建实操

1.前提条件

  • 默认你已经安装好了一台 伪分布式环境,我的是bigdata121
  • 默认你已经看了前面的第5篇文章,完全分布式的规划和步骤,现在只讲实际操作

2.修改伪分布式环境的几个hadoop的配置文件

需要配置的文件

hadoop完全分布式环境搭建实操(6)_完全分布式


bigdata121的配置文件

core-site.xml(不需要改)

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata121:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/mod/hadoop-2.8.4/data</value>
</property>

</configuration>

这个文件不需要修改!!

hdfs-site.xml(需要改)

hadoop完全分布式环境搭建实操(6)_完全分布式_02

<configuration>
<!--数据冗余数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--secondary的地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata121:50090</value>
</property>
<!--关闭权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

hadoop-env.sh(不需要改)

原来配置的jdk看下,不需要改

hadoop完全分布式环境搭建实操(6)_xml_03

yarn-site.xml(需要改)

这里我们想让resouremanager和namendode不在一个机器上,我们把resouremanager放在bigdata122上,故改下,如果你想放在一个机器上,那就不用改了。

hadoop完全分布式环境搭建实操(6)_hadoop_04

<configuration>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata122</value>
</property>

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天(秒) -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

mapred-site.xml (可以修改)

如果想要yarn的主节点放在bigdata122,那就改下

hadoop完全分布式环境搭建实操(6)_mapreduce_05

<configuration>
<!-- 指定mr运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata121:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata121:19888</value>
</property>
</configuration>

yarn-env.sh、mapred-env.sh(不需要改)

  • yarn-env.sh
  • hadoop完全分布式环境搭建实操(6)_hadoop_06

  • mapred-env.sh
  • hadoop完全分布式环境搭建实操(6)_hadoop_07

slaves(需要修改)

hadoop完全分布式环境搭建实操(6)_hadoop_08

bigdata121
bigdata122
bigdata123

自此,bigdtata121上的hadoop配置文件完成了。
现在我们用scp 吧这些配置发送到bigdata122和bigdata123上。

3.克隆bigdata121的hadoop配置文件

  • 查看bigdata122的环境变量
    cat /etc/profile
  • hadoop完全分布式环境搭建实操(6)_xml_09

  • 没有问题。
  • 保证/opt/mod下没有hadoop配置文件,我们一会吧bigdata121的scp过来
  • hadoop完全分布式环境搭建实操(6)_hadoop_10

  • 有hadoop-2.8.4了,我之前拿来测试伪分布式来,干掉,删除。

[root@bigdata122 mod]# rm -rf hadoop-2.8.4/

hadoop完全分布式环境搭建实操(6)_mapreduce_11


ok!

  • 同样查看bigdata123的环境变量,吧java环境变量和hadoop的给加上和工作目录/opt/mod完毕。

scp文件传输(重点)

实现两台远程机器之间的文件传输(bigdata112主机文件拷贝到bigdata113主机上)
公式

scp -r [文件] 用户@主机名:绝对路径
注:伪分布式是一台、完全分布是三台

先切换到bigdata121的 /opt/mod下
依次执行2条命令:

1.scp到bigdata122

[root@bigdata121 mod]# scp -r hadoop-2.8.4/  root@bigdata122:/opt/mod

2.scp到bigdata123

[root@bigdata121 mod]# scp -r hadoop-2.8.4/  root@bigdata123:/opt/mod

3.查看

用hadoop version查看是否克隆成功。

hadoop完全分布式环境搭建实操(6)_hadoop_12

如上图,说明ok。

4.格式化Namenode

在bigdata121上执行下面的命令

hdfs namenode -format

为什么要格式化?
NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息,同时为了保证数据的可靠性,还加入了操作日志,所以,NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS,在启动NameNode时,需要先执行-format命令,然后才能正常启动NameNode节点的服务。
格式化做了哪些事情?
在NameNode节点上,有两个最重要的路径,分别被用来存储元数据信息和操作日志,而这两个路径来自于配置文件,它们对应的属性分别是dfs.name.dir和dfs.name.edits.dir,同时,它们默认的路径均是/tmp/hadoop/dfs/name。
格式化时,NameNode会清空两个目录下的所有文件,之后,会在目录dfs.name.dir下创建文件hadoop.tmp.dir 这个配置,会让dfs.name.dir和dfs.name.edits.dir会让两个目录的文件生成在一个目录里

5.统一3台服务器的时间

三台服务器同时执行下面的命令

date -s 20190608

hadoop完全分布式环境搭建实操(6)_hadoop_13


ok,时间设置完成。

6.启动dfs

在bigdata121上执行(因为我们配置的namenode在bigdata121上)

start-dfs.sh

hadoop完全分布式环境搭建实操(6)_xml_14


hadoop完全分布式环境搭建实操(6)_xml_15


hadoop完全分布式环境搭建实操(6)_hadoop_16


出现上面3个日志,则说明dfs已经启动了。

7.启动yarn

在bigdata122上执行下面的命令(因为我们配置的yarn的主节点ResourceManager在bigdata122上)

start-yarn.sh

hadoop完全分布式环境搭建实操(6)_hadoop_17


hadoop完全分布式环境搭建实操(6)_hadoop_18


和我们规划的一样,说明成功了!!

页面效果图

hadoop完全分布式环境搭建实操(6)_xml_19


hadoop完全分布式环境搭建实操(6)_完全分布式_20

8.测试

wordcount案例(就是一个mapreduce程序,统计文件的单词次数)的demo的位置:

在/opt/mod/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar

hadoop完全分布式环境搭建实操(6)_完全分布式_21

写个测试文件:

hadoop完全分布式环境搭建实操(6)_mapreduce_22


cd 到/opt/mod下

hadoop完全分布式环境搭建实操(6)_完全分布式_23

上传到test文件到dfs的根目录上去

[root@bigdata121 mod]# hadoop fs -put /opt/mod/test /

效果可以查看到:

hadoop完全分布式环境搭建实操(6)_mapreduce_24

执行wordcount程序

把test执行下mr的wordcount程序,然后把结果放在dfs根目录的dfs下。
切换到/opt/mod/hadoop-2.8.4/share/hadoop/mapreduce下

[root@bigdata121 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /test  /out

hadoop完全分布式环境搭建实操(6)_完全分布式_25

看下结果

hadoop完全分布式环境搭建实操(6)_完全分布式_26


点击箭头下载下来,用文件打开

hadoop完全分布式环境搭建实操(6)_hadoop_27


或者用命令的方式:

hadoop完全分布式环境搭建实操(6)_hadoop_28

自此,hadoop完全分布式的环境搭建完成,大功告成!!


举报

相关推荐

0 条评论