完全分布式搭建

以上省略安装VMwareWorkstation虚拟机 我在这里使用的是centos64位

我在这里搭建的是1个主机(master)，3个从机(slave1、slave2、slave3)

• 首先安装Linux系统的虚拟机器(主要选好语言就可以了...然后一路回车)
  修改ip地址--------------->vi /etc/sysconfig/network-scripts/ifcfg-eth0
  onboot=yes
  bootproto=static
  IPADDR=192.168.83.xxx
  netmask=255.255.255.0
  gateway=192.168.83.2
  修改dns------------------>vi /etc/resolv.conf
  重启ip服务--------------->service network restart
  关闭防火墙--------------->service iptables stop chkconfig iptables off
  修改映射关系
  vi /etc/hosts
  修改主机名 vi /etc/sysconfig/network
• 安装JDK(我在这里创建了一个文件夹soft,使用的文件上传工具为xshell5),先把jdk上传到该目录下,然后解压该tar包---------tar -zxvf(静默安装) 文件名 ,然后配置环境变量---------vi /etc/profile.d/java.sh(本身是没有java.sh的文件，但是linux在查找的时候如果没有会自动创建,一般配置文件都放在/etc下的profile.d中)
  JAVA_HOME=/soft/jdk
  PATH=$PATH:$JAVA_HOME/bin
  CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
  export JAVA_HOME PATH CLASSPATH
  执行java.sh文件---->source/etc/profile.d/java.sh
  检查是否配置成功----->java -version
• 安装hadoop
  本人用的版本 hadoop-2.7.3.tar.gz 从Apache官网下载即可
  也是和解压jdk一样,然后配置环境变量,下面是步骤:
  vi /etc/profile.d/hadoop.sh
  HADOOP_HOME=/soft/hadoop
  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  export HADOOP_HOME PATH
  执行hadoop.sh文件--source/etc/profile.d/hadoop.sh
  检查是否配置成功-----hadoop version如果可以打印出版本信息则说明配置成功
• 修改hadoop的配置文件

•     <configuration>
    <property>
     <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
     <name>hadoop.tmp.dir</name>
     <value>/hadoop/tmp</value>
    </property>
  </configuration>
  注：在相应地方创建文件夹/hadoop/tmp

    <configuration>
  <property>
      <name>dfs.replication</name>  
   <value>3</value>  
  </property>
  <property>
      <name>dfs.namenode.name.dir</name>
   <value>/hadoop/tmp/dfs/name</value>
  </property>
  <property>
      <name>dfs.datanode.data.dir</name>
      <value>/hadoop/tmp/dfs/data</value>
  </property>
  <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
  </property>
</configuration>
注:在相应地方创建文件夹/hadoop/tmp/dfs/data和/hadoop/tmp/dfs/name

    <configuration>
		<property>  
	    	<name>mapreduce.framework.name</name>  
			<value>yarn</value>  
		</property>  
</configuration>

<configuration>
  <property>  
      <name>yarn.resourcemanager.hostname</name>  
   <value>hadoop</value>  
  </property>  
  <property>  
   <name>yarn.nodemanager.aux-services</name>  
   <value>mapreduce_shuffle</value>  
  </property>  
</configuration>

• 安装ssh免登录
  安装ssh服务
  yum -y install openssh-clients openssh-server
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa(注意,P是大写)
  进入目录 # cd ~/.ssh
  将公钥导入到秘钥库(其实就是复制文件)
  cp id_rsa.pub authorized_keys
  测试 ssh localhost/ssh slave1/ssh slave2 然后选择yes 如果不需要输入密码则成功
• 克隆slave
  在克隆之前把要对主机设置快照,以防安装失败可以回到安装正确之前
  注:设置快照期间不要对虚拟机进行任何操作

• 启动hadoop