0
点赞
收藏
分享

微信扫一扫

搭建Hadoop开发环境并运行WordCount测试程序

步骤 1:修改主机名和IP地址
1.1 修改主机名

sudo hostnamectl set-hostname your_hostname

1.2 修改IP地址和绑定主机名与IP,根据你的网络配置进行设置。

步骤 2:关闭防火墙并关闭防火墙开机启动

sudo systemctl stop firewalld
 sudo systemctl disable firewalld

步骤 3:安装JDK并配置环境变量
3.1 安装JDK,这里假设你已经下载了适用于你的系统的JDK安装包。

tar -zxvf jdk-*.tar.gz -C /opt

3.2 配置环境变量,在/etc/profile或者~/.bashrc中添加以下行,并保存:

export JAVA_HOME=/opt/jdk
 export PATH=$JAVA_HOME/bin:$PATH

然后执行以下命令使配置生效:

source /etc/profile  # 或 source ~/.bashrc

步骤 4:安装Hadoop并配置
4.1 下载Hadoop,解压并配置环境变量。假设你已经下载了Hadoop安装包。

tar -zxvf hadoop-*.tar.gz -C /opt

4.2 修改Hadoop配置文件(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)以满足你的需求。

步骤 5:初始化HDFS(格式化文件系统)

hadoop namenode -format

步骤 6:启动Hadoop
6.1 启动HDFS:

start-dfs.sh

6.2 启动YARN:

start-yarn.sh

步骤 7:实现WordCount测试程序
7.1 在Hadoop用户当前目录下创建WordCount文件夹,并在其中创建两个测试文件file1.txtfile2.txt,填写内容。

7.2 在Hadoop文件系统上创建一个名为 "input" 的文件夹:

hadoop fs -mkdir /input

7.3 将WordCount文件夹中的file1.txtfile2.txt上传到刚刚创建的 "input" 文件夹:

hadoop fs -put /home/hadoop/WordCount/*.txt /input

7.4 运行WordCount示例程序:

hadoop jar hadoop-mapreduce-examples-*.jar wordcount /input /output

步骤 8:查看输出结果
8.1 查看输出结果的文件位置:

hadoop fs -ls /output

8.2 使用以下命令查看WordCount的结果:

hadoop fs -cat /output/part-r-00000


举报

相关推荐

0 条评论