5.3实训任务 Mapreduce API-WordCount 实现

1、创建HDFS目录

[先进入到 /home/bigdata/Opt/hadoop-2.10.1/sbin 目录]

hadoop fs -mkdir /input

【注意：hadoop 命令能运行的前提是hadoop服务已启动，否者会报如下错误：】

mkdir: No Route to Host from  localhost/127.0.0.1 to 192.168.232.135:9000 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost

 Hadoop服务启动 参考 三、第9和10点 ​​3.4实训任务 Hadoop环境搭建与安装_懒笑翻的博客-xshell安装hadoop环境​​

2、新建 a1.txt 、a2.txt 、a3.txt  ，并输入对应数据，命令如下：

vim a1.txt
vim a2.txt
vim a3.txt

输入命令后，按 i 进入输入模式，输入完内容后，按esc，再输入:wq ，回车 ，退出并保存

 3、上传本地云主机上的文件到HDFS的input目录上，命令行如下：

hadoop fs -put a*.txt /input

4、运行jar包，可以在windows中生成jar包，或使用Hadoop自带的jar包。

使用Hadoop自带的jar包，

 命令如下：

hadoop jar /home/bigdata/Opt/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /home/bigdata/input /home/bigdata/output

5、查看结果

hadoop fs -ls /home/bigdata/output