- 下载hadoop-3.0.0解压到本地(基于jdk-1.8开发,jdk-1.7已停止更新)
http://www-us.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz - 修改/etc/hosts
增加本机ip和用户名的映射 - 修改配置文件
- 1.hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
- 2.workers
localhost
~
~
~
- 3.mapred-site.xml
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 4.core-site.xml
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
//注意这个得localhost为wokers里面设置的,没有修改就写localhost
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 5.yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- 6.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/dongxicheng/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/dongxicheng/hadoop/dfs/data</value>
</property>
</configuration>
- 格式化HDFS
bin/hadoop namenode -format
- 启动HDFS
sbin/start-dfs.sh
- 启动YARN
sbin/start-yarn.sh
注意在启动时如果出现警告,无法加载本地类库,需要更换/data/software/hadoop-3.0/lib/native/libhadoop.so.1.0.0这个文件。这个文件可以自己编译源码得到,编译完后在native目录下可以找到。我自己编译过的一份,大家可以下载。https://yunpan.cn/cvRnCGm6764Hj (提取码:b590)
到这里Hadoop-3.0.0单机测试环境搭建完成!
- 采用虚拟机搭建的Hadoop环境,每次虚拟机重启后,Hadoop无法启动成功。解决方案:
- core-site.xml中增加两个配置项
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/myc/Documents/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/myc/Documents/hadoop/dfs/data</value>
</property>
其中各个目录一定是非/tmp下的目录。