0
点赞
收藏
分享

微信扫一扫

Hadoop-3.0.0测试(单机)环境搭建


  • 下载hadoop-3.0.0解压到本地(基于jdk-1.8开发,jdk-1.7已停止更新)
    ​​http://www-us.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz​​
  • 修改/etc/hosts
    增加本机ip和用户名的映射
  • 修改配置文件
  1. 1.hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64

  1. 2.workers

localhost
~
~
~

  1. 3.mapred-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

  1. 4.core-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
//注意这个得localhost为wokers里面设置的,没有修改就写localhost
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

  1. 5.yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

  1. 6.hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/dongxicheng/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/dongxicheng/hadoop/dfs/data</value>
</property>
</configuration>

  1. 格式化HDFS

bin/hadoop namenode -format

  1. 启动HDFS

sbin/start-dfs.sh

  1. 启动YARN

sbin/start-yarn.sh

注意在启动时如果出现警告,无法加载本地类库,需要更换/data/software/hadoop-3.0/lib/native/libhadoop.so.1.0.0这个文件。这个文件可以自己编译源码得到,编译完后在native目录下可以找到。我自己编译过的一份,大家可以下载。​​https://yunpan.cn/cvRnCGm6764Hj​​​ (提取码:b590)
到这里Hadoop-3.0.0单机测试环境搭建完成!

  • 采用虚拟机搭建的Hadoop环境,每次虚拟机重启后,Hadoop无法启动成功。解决方案:
  • core-site.xml中增加两个配置项

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/myc/Documents/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/myc/Documents/hadoop/dfs/data</value>
</property>

其中各个目录一定是非/tmp下的目录。


举报

相关推荐

0 条评论