0
点赞
收藏
分享

微信扫一扫

在虚拟机中安装单机Hadoop

独西楼Q 2022-04-29 阅读 211
java后端

安装单机Hadoop系统

一、所用软件版本

虚拟机:VMware_workstation_full_12.5.2

操作系统:ubuntu-16.04.2-desktop-amd64

HADOOP:hadoop-2.7.3.tar

JDK: jdk-8u121-linux-x64.tar

二、JDK的配置

1.将/home/software/jdk-8u121-linux-x64.tar进行解压

2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下

3.输入命令:sudo gedit/etc/profile配置java环境变量如下:

4.使环境变量生效并验证java环境变量是否配置成功

三、SSH的配置

1.安装SSH

2.安装成功后,尝试登陆本机,命令:ssh localhost

3.设置ssh免密登陆,命令:ssh-keygen

四、创建hadoop用户

1.创建hadoop用户:hadoop

2.使用hadoop登陆系统

五、Hadoop的安装

1.并将解压后的hadoop-2.7.3从下载中移至/usr/local/hadoop文件目录下并授予权限

2.同java一样,命令:sudo gedit /etc/profile配置环境变量后,查看hadoop是否安装配置成功,如下:

六、hadoop伪分布式配置

1.用下面命令修改配置文件core-site.xml如下图:

2. 用下面命令修改配置文件 hdfs-site.xml如下图:

3. 用下面命令修改配置文件mapred-site.xml如下图:

4. 用下面命令修改配置文件 yarn-site.xml如下图:

5. namenode格式化如下图所示,Exiting withstatus 0表示格式化成功

6. 启动进程,命令:./sbin/start-dfs.sh,第一次启动出现如下问题:

解决问题再次启动如下图,并用jps验证如下图:

7. 在网页查看 namenode 和 datanode 信息

七、WordCount实验

1.实验test.txt在/home/usr/lacal/hadoo文件目录下,实验具体步骤及结果如下:

就这样环境搭好了,还跑了统计词频的小实验,需要细心、细心、再细心,再加点耐心,大功告成!

举报

相关推荐

0 条评论