Hadoop详细安装
1.Linux搭建集群(三台服务器)
1.1新建虚拟机
1.2克隆两台虚拟机
1.3网卡配置
1.3.1第一台hadoop001 (192.168.20.111)
先只启动hadoop001
接下来配置另外两台的网卡,记住一定要关闭第一台的!!!,然后再开始相同步骤配置第二台的,然后关闭第二台后再继续配第三台!!!否则没配好静态IP之前会IP地址会变动
1.3.2第二台hadoop002 (192.168.20.112)
1.3.3第三台hadoop003(192.168.20.113)
1.4将三台虚拟机连接到MobaXtem
1.4.1记住刚刚的三台虚拟机的网关(IP)
hadoop001 ------------192.168.20.111
hadoop002 ------------192.168.20.112
hadoop003 ------------192.168.20.113
1.4.2接下来改主机名便于操作:
1.4.3关闭防火墙
1.5部署Hadoop
1.5.1上传HADOOP安装包
1.5.2安装JDK
注意这里的“-C”C是大写的
1.5.3配置JDK环境变量
1.5.4配置Hadoop环境变量
1.5.5安装Hadoop
修改配置文件(进入Hadoop的目录)
1.5.6修改配置文件 /usr/local/hadoop-2.7.3/etc/hadoop/
1.5.6.1==vi hadoop-env.sh
1.5.6.2==vi core-site.xml
1.5.6.3==vi hdfs-site.xml
mapreduce.framework.name yarn1.5.6.5==vi yarn-site.xml
yarn.resourcemanager.hostname hadoop001 yarn.nodemanager.aux-services mapreduce_shuffle1.5.6.6==vi slaves
1.5.6.7总结
输入时注意别把也输入错误,注意格式
1.5.7修改host映射
需要使用主机名传递,需要修改host映射
1.5.8 设置免密登录SSH
如果配置免密时遇到问题可参考这篇文章:
1.5.9 分发
把第一台安装好的jdk和hadoop以及配置文件发送给另外两台==hosts文件、jdk安装后的文件夹、Hadoop安装后的文件夹、/etc/profile 文件
eg:scp -r /usr/local/jdk1.8.0_102 hadoop02:/usr/local/
2.启动集群
初始化HDFS(在hadoop001进行操作)(操作一次就ok)
在hadoop001号机子上执行
3.验证集群
3.1JPS:
3.2网页查看:
192.168.20.111:50070
192.168.20.111:8088
【IP:端口号(50070与8088)】