3.5实训任务 Hadoop shell 常见命令的使用

1、使用Hadoop shell 命令在Hadoop集群中新建一个文件夹 /usr/data/input

命令行如下：

①先进入Hadoop集群，进入 /home/bigdata/Opt/hadoop-2.10.1/sbin 目录

cd /home/bigdata/Opt/hadoop-2.10.1/sbin

②新建文件夹/usr/data/input

hadoop fs -mkdir -p /usr/data/input

2、将本地windows 中的log.txt 文件上传至 HDFS 文件系统中的 input 目录。先在本地CentOS新建一个 input 文件夹

3、从本地Windows 中上传log.txt 文件到CentOS中，使用命令 rz ，从弹出的上传对话框中选择要上传的 log.txt 文件，提升上传成功后，采用命令 ls 查看上传的文件是否存在。

选择电脑本地的log.txt 文件【其实这个文件就是用来测试这些命令的一个文本文件，这个文件自定义可以少点内容，内容随意，你开心就行】

我自己建了一个log.txt 的文本文档，内容如下【这是在本地电脑记事本打开的】：

命令 ls 查看上传结果

4、从本地CentOS中将 input/log.txt 文件再上传到 HDFS 中的 /usr/data/input 目录中，命令行如下：

hadoop fs -put log.txt /usr/data/input

注意：书上这部分在P91页中间部分，作者写的是hadoop fs -put input/log.txt /usr/data/input

然后就会报错，说找不到这个input/log.txt 。实际上 input/ 部分不需要

hadoop fs -ls -R /

也可通过50070端口查看请[注意导航栏地址的变化]

​​http://192.168.232.135:50070/      ​​

 5、查看HDFS上上传的log.txt 文件，，命令行为：

hadoop fs -cat /usr/data/input/log.txt

 6、下载HDFS上的log.txt 文件到本地CentOS中，命令行为：

现在CentOS的 / 目录下新建tmp文件夹

hadoop fs -get /usr/data/input/log.txt /home/bigdata/tmp

7、把HDFS上的 /usr/data/input/log.txt  文件复制到 /aa 目录下。完成复制后，到 /aa 目录下，查看是否成功复制文件。命令行如下：

cd /home/bigdata

hadoop fs -cp /usr/data/input/log.txt /aa

hadoop fs -ls /aa

8、把HDFS上的 /usr/data/input/log.txt 文件移动到 /a 目录下，命令行为：

cd /home/bigdata

hadoop fs -cp /usr/data/input/log.txt /a

hadoop fs -ls /a

通过50070端口查看复制结果

9、把HDFS上的 /a 目录下的 log.txt 文件删除，命令行为

hadoop fs -rm /a/log.txt

hadoop fs -rmdir /a

hadoop fs -ls /

10、在HDFS上新建一个目录 /bb/cc ，强制删除目录 /bb ，命令行如下

hadoop fs -mkdir -p /bb/cc
hadoop fs -ls /
hadoop fs -ls /bb
hadoop fs -ls /
hadoop fs -rm -r /bb
hadoop fs -ls /

11、从本地CentOS系统中剪切文件到HDFS上，命令行如下：