完全分布式部署Hadoop集群(三)完成基本搭建

集群规划

注意:真实集群搭建 NameNode独占一个资源 不和datanode一起

SecondaryNameNode 也一样

每一个datanode配置一个nodemanager,ResourceManager 避开namenode和secondarynamendoe

基本搭建

cd  /opt/module/hadoop-2.7.2/etc/hadoop
vim core-site.xml  //配置namenode和临时文件的目录

vim hdfs-site.xml //配置datanode的副本数和secondarynamenode

vim slaves

testnote01
testnote02
testnote03

配置yarn-site

配置 mapred-site.xml

查看分发情况

回到主目录将三个机器的data和logs干掉

格式化集群 格式化节点在namenode的节点上格式化

注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

在namenode的集群上启动,且必须ssh免密登录配置完成

在namenode的机器上testnote01

start-dfs.sh

hdfs集群启动完成

启动yarn

yarn位于resourcemanager上 并且在testnote02的节点上

如果没有配置

hadoop-env.sh

mapred-env.sh

yarn-env.sh

会报错

Error: JAVA_HOME is not set and could not be found.

注意集群文件同步

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。否则无法启动rm