0
点赞
收藏
分享

微信扫一扫

【无标题】hadoop全分布式模式

狐沐说 2022-03-11 阅读 52
hadoop

1.实训目的和内容

  1. 理解hadoop的全分布模式原理
  • 熟练掌握部署Fully-Distributed Mode(全分布模式)

先决条件

支持平台:linux、window

所需软件:3台或5台虚拟机,安装jdk、ssh、hadoop

参考官网:Apache Hadoop 3.3.1 – Hadoop Cluster Setup

IP

主机名

192.168.121.134

hadoop01

192.168.121.135

hadoop02

192.168.121.136

hadoop03

2.实训步骤

1. 克隆虚拟机,修改网络配置和主机名

从原本的hadoop克隆出hadoop1、hadoop2和hadoop3

nmtui命令网络配置并激活,注意:/24是子网掩码设置,必须要添加。

修改主机名   hadoop01,hadoop02,hadoop03

三台都需要关闭防火墙

克隆三台虚拟机,选择完整克隆

 

 

 Hadoop02和Hadoop03和他一样的

然后三台都关闭自己的防火墙并查看状态

 

 

 三台均配 /etc/hosts

 

 测试三台之间是否互通

 

2. 配置多台虚拟机ssh免密登录

在hadoop01上设置命令

Ssh-keygen 钥匙生成器

Ssh-copy-id 主机名(hadoop01 hadoop02  hadoop03)     拷贝公钥

Ssh 主机名(hadoop01 hadoop02  hadoop03) 测试免费

 

 

 

Hadoop02hadoop03和上面一样。

3. 配置hadoop完全分布模式

(1)在hadoop01上配置jdk

上传并解压jdk和hadoop  jar包

 

 

(2)在Hadoop01上配置环境变量

vim  /etc/profile 

编辑内容如下:

# jdk

# hadoop

# jdk

export JAVA_HOME=/export/servers/jdk

export PATH=$PATH:$JAVA_HOME/bin

# hadoop

export HADOOP_HOME=/export/servers/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 验证成功   

 

(2)配置完全分布式集群环境

1配置 hadoop-env.sh  第25行

 

2配置core-site.xml  ##是hadoop的核心配置文件。配置了HDFS的主进程NameNode。

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:9000</value>

    </property>

 

3配置hdfs-site.xml,配置用于设置HDFS的NameNode和DataNode两大进程

    <property>

        <name>dfs.replication</name>

        <value>3</value>##配置HDFS的副本数目,一般默认为3.

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop02:50090</value>

    </property>

 

4配置mapred-site.xml,是MapReduce的核心配置文件

cp mapred-site.xml.template mapred-site.xml先拷贝一份,然后用mapred-site.xml进行配置。

 

  <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property> 

5配置yarn-site.xml文件,是YAEM的核心框架,要指定yarn集群的管理者

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop01</value>

    </property>

 

6配置slaves文件

进去之后先删除里面的内容,一般出现的是localhost,填入下面内容。

Hadoop01

Hadoop02

Hadoop03

 

 

4,将hadoop01的文件分发到hadoop02、hadoop03

scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile

scp -r /export/ hadoop02:/

scp -r /export/ hadoop03:/

然后在Hadoop02和hadoop03启动服务,source   /etc/profile

5. 执行hadoop集群初始化并启动

(1)格式化文件系统

在hadoop01上执行格式化系统

hdfs namenode  -format

 

(2)启动hadoop程序

在hadoop01上启动节点

start-dfs.sh  ##在主节点

start-yarn.sh

 

最后输入三个虚拟机都输入jps,发现Hadoop01有五个节点,hadoop02有四个,Hadoop03有三个。

(3)网页浏览namenode节点

  • 名称节点 - http://192.168.10.123:50070/

 注:所有节点也可以单独启动

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start resourcemanager

hadoop-daemon.sh start nodemanager

hadoop-daemon.sh start secondarynamenode

举报

相关推荐

0 条评论