Hadoop系列---【Hadoop集群的搭建---(一)环境配置】-CFANZ编程社区

Hadoop系列---【Hadoop集群的搭建---(一)环境配置】

Hadoop集群的搭建

一、集群环境配置（准备三台服务器）

1.设置hostname,/etc/hosts

#查看当前host名称
hostname 
#三台分别设置网络hostname，node01，node02，node03
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02

wq保存并退出

#修改hosts
vi /etc/hosts

192.168.1.200 node01
192.168.1.201 node02
192.168.1.202 node03

wq保存并退出,reboot重启

2.关闭防火墙（三台root用户执行）

service iptables stop   #关闭防火墙
chkconfig iptables off  #禁止开机启动
或者
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld.service

3.关闭selinux安全子系统

vi /etc/selinux/config

#SELINUX=enforcing
SELINUX=disabled

wq保存并退出

4.三台机器相互设置免密登录

4.1分别在三台机器执行命令生成公钥和私钥

ssh-keygen -t rsa  #执行完之后，按下三个回车即可,在/root/.ssh目录下发现多了两个id_rsa文件，一个公钥，一个私钥

Hadoop系列---【Hadoop集群的搭建---(一)环境配置】_Hadoop

4.2三台机器拷贝公钥到第一台机器

ssh-copy-id node01   #可以跳过4.3，直接复制公钥到node01，这样执行这条命令的服务器就能保证(ssh root@node01)

4.3复制第一台机器的公钥到其他两台机器

在第一台机器上执行下面的命令：

scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh

4.4验证登录免密是否成功

在node01上分别执行命令:

ssh node02
ssh node03

5.时钟同步

5.1联网版

原理：都去和阿里的一台机器的时钟做同步。

#分别在三台上面执行下面命令
yum install -y ntp

#编辑定时任务
crontab -e

#内容如下，五个*分别依次代表：分、时、日、月、周，下面代表每1分钟执行一次同步时钟指令。
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
#wq保存并退出，定时任务就生效了

#查看定时任务
crontab -l

5.2离线版

原理：以三台中的一台的时间点为准
待完善

6.分别在三台服务器安装JDK

6.1卸载自带jdk

#查看是否自带jdk
rpm -qa | grep java
#卸载系统自带的openjdk
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64   tzdata-java-2016j-1.el6.noarch  java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps

6.2安装jdk并配置环境变量

愿你走出半生，归来仍是少年！

少年攻城狮