Hadoop完全分布式 => 集群配置单点启动

1.集群部署规划

2.配置

hadoop101:

cd /opt/module/hadoop-2.9.2/etc/hadoop

vim core-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 指定 HDFS 中NameNode 的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.9.2/data/tmp</value>
</property>

vim hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME} 修改为 export JAVA_HOME=/opt/module/jdk1.8.0_241

vim hdfs-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 指定 HDFS 副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 指定 Hadoop 辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop103:50090</value>
</property>

vim yarn-env.sh

将 # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 注释打开修改为

export JAVA_HOME=/opt/module/jdk1.8.0_241

vim yarn-site.xml

在<configuration></configuration>中间加入下面内容

<!-- Reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
 
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
</property>

vim mapred-env.sh

将 # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 注释打开修改为

export JAVA_HOME=/opt/module/jdk1.8.0_241

修改mapred-site.xml.template文件名为mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 指定 MR 运行在YARN上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

在集群上分发配置好的hadoop配置文件

xsync /opt/module/hadoop-2.9.2/

3.单点启动

cd /opt/module/hadoop-2.9.2/

如果启动过，要先删除data logs文件夹

rm -rf data logs

hadoop101:

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

hadoop102:

sbin/hadoop-daemon.sh start datanode

hadoop103:

sbin/hadoop-daemon.sh start datanode

主机打开网址：http://hadoop101:50070