大数据项目-5.hadoop（六.hadoop安装）

一：官网下载地址

hadoop3.3.2官网地址
在这里插入图片描述

二：上传虚拟机。

在这里插入图片描述
解压

tar -axvf hadoop-3.2.2.tar.gz

在这里插入图片描述

三：修改配置文件

修改hadoop-env.sh ，配置Java环境。

cd /etc/hadoop/hadoop-3.2.2/etc/hadoop
vim hadoop-env.sh

根据自己环境的java路径来填写。
在这里插入图片描述

启动hadoop

cd /etc/hadoop/hadoop-3.2.2/bin
./hadoop

修改core-site.xml

cd /etc/hadoop/hadoop-3.2.2/etc/hadoop
vim core-site.xml

添加以下代码

<configuration>
        <!-- 配置NameNode运行的主机 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://10.10.10.11:8020/</value>
        </property>
        <!--配置hadoop文件存储数据的目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/liucf/data/dfs/tmp</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>

        <!--设置集群中有二个副本-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <!--关闭用hdfs权限检查-->
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

workers
配置另外俩台服务器。

10.10.10.12
10,10,10,13

scp另外俩台服务器。

cd /etc
scp -r hadoop root@10.10.10.12:/etc/
scp -r hadoop root@10.10.10.13:/etc/

格式化

cd /etc/hadoop/hadoop-3.2.2/bin
./hdfs namenode -format

启动

在10.10.10.11节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./hadoop-daemon.sh  start namenode

在10.10.10.12和10.10.10.13节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./hadoop-daemon.sh  start datanode

查看web页面
http://10.10.10.11:9870/

配置yarn
1. 配置yarn-site.xml。
2. scp另外俩台服务器。

cd /etc
scp -r hadoop root@10.10.10.12:/etc/
scp -r hadoop root@10.10.10.13:/etc/

启动yarn

在10.10.10.11节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./yarn-daemon.sh start resourcemanager

在10.10.10.12和10.10.10.13节点
cd /etc/hadoop/hadoop-3.2.2/sbin
./yarn-daemon.sh start nodemanager

0 条评论