0
点赞
收藏
分享

微信扫一扫

Hadoop详细集群搭建

慎壹 2022-03-16 阅读 81

Hadoop详细安装

1.Linux搭建集群(三台服务器)

1.1新建虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2克隆两台虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3网卡配置

1.3.1第一台hadoop001 (192.168.20.111)

先只启动hadoop001

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
接下来配置另外两台的网卡,记住一定要关闭第一台的!!!,然后再开始相同步骤配置第二台的,然后关闭第二台后再继续配第三台!!!否则没配好静态IP之前会IP地址会变动

1.3.2第二台hadoop002 (192.168.20.112)

在这里插入图片描述

1.3.3第三台hadoop003(192.168.20.113)

在这里插入图片描述

1.4将三台虚拟机连接到MobaXtem

1.4.1记住刚刚的三台虚拟机的网关(IP)

hadoop001 ------------192.168.20.111
hadoop002 ------------192.168.20.112
hadoop003 ------------192.168.20.113
在这里插入图片描述
在这里插入图片描述

1.4.2接下来改主机名便于操作:

在这里插入图片描述

1.4.3关闭防火墙

在这里插入图片描述

1.5部署Hadoop

在这里插入图片描述

1.5.1上传HADOOP安装包

在这里插入图片描述
在这里插入图片描述

1.5.2安装JDK

注意这里的“-C”C是大写的
在这里插入图片描述

1.5.3配置JDK环境变量

在这里插入图片描述

在这里插入图片描述

1.5.4配置Hadoop环境变量

在这里插入图片描述

在这里插入图片描述

1.5.5安装Hadoop

修改配置文件(进入Hadoop的目录)

在这里插入图片描述

1.5.6修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/

1.5.6.1==vi hadoop-env.sh

在这里插入图片描述

1.5.6.2==vi core-site.xml

在这里插入图片描述

1.5.6.3==vi hdfs-site.xml
mapreduce.framework.name yarn

在这里插入图片描述

1.5.6.5==vi yarn-site.xml
yarn.resourcemanager.hostname hadoop001 yarn.nodemanager.aux-services mapreduce_shuffle

在这里插入图片描述

1.5.6.6==vi slaves

在这里插入图片描述

1.5.6.7总结

在这里插入图片描述
输入时注意别把也输入错误,注意格式

1.5.7修改host映射

需要使用主机名传递,需要修改host映射

在这里插入图片描述

1.5.8 设置免密登录SSH

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果配置免密时遇到问题可参考这篇文章:

1.5.9 分发

把第一台安装好的jdk和hadoop以及配置文件发送给另外两台==hosts文件、jdk安装后的文件夹、Hadoop安装后的文件夹、/etc/profile 文件
eg:scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.启动集群

初始化HDFS(在hadoop001进行操作)(操作一次就ok)
在hadoop001号机子上执行

3.验证集群

3.1JPS:

在这里插入图片描述

3.2网页查看:

192.168.20.111:50070
192.168.20.111:8088

【IP:端口号(50070与8088)】
在这里插入图片描述
在这里插入图片描述

3.3在安装过程有任何问题欢迎来私信我哦!!!

举报

相关推荐

0 条评论