实验1：熟悉常用的Linux操作和Hadoop操作

"大数据技术原理与应用"课程实验报告

题目：实验1：熟悉常用的Linux操作和Hadoop操作 姓名：朱小凡 日期：2022/3/11

1、实验环境：

设备名称 LAPTOP-9KJS8HO6

处理器 Intel® Core™ i5-10300H CPU @ 2.50GHz 2.50 GHz

机带 RAM 16.0 GB (15.8 GB 可用)

主机操作系统 Windows 10 家庭中文版

虚拟机操作系统 ubuntukylin-16.04

系统类型 64 位操作系统, 基于 x64 的处理器

笔和触控 没有可用于此显示器的笔或触控输入

2、实验内容与完成情况：

1. 安装Linux虚拟机

<!-- -->

1. 安装Virtual Box成功

2. 安装ubuntukylin-16.04成功

2. 熟悉常用Linux命令

   1. cd命令：切换目录

cd /usr/local

cd …

3. 切换到当前登录Linux系统的用户的自己的主文件夹

cd ~

1. ls命令：查看文件和目录

<!-- -->

1. 查看目录/usr下的所有文件和目录

1. mkdir命令：新建目录

<!-- -->

1. 进入/tmp目录，创建一个名为a的目录，并查看/tmp目录下已经存在哪些目录

2. 进入/tmp目录，创建目录a1/a2/a3/a4

1. rmdir命令：删除空的目录

<!-- -->

1. 将上面创建的目录a（在"/tmp"目录下面）删除。

2. 删除上面创建的目录a1/a2/a3/a4，然后查看/tmp目录下面存在哪些目录。

1. cp命令：复制文件或目录

<!-- -->

1. 将当前用户的主文件夹下的文件.bashrc复制到目录/usr下，并重命名为bashrc1

2. 在目录/tmp下新建目录test，再把这个目录复制到/usr目录下

1. mv命令：移动文件和目录，或重命名

<!-- -->

1. 将/usr目录下的文件bashrc1移动到/usr/tesl目录下

2. 将/usr目录下的test目录重命名为test2

1. rm命令：移除文件或目录

<!-- -->

1. 将/usr/test2目录下的bashrc1文件删除

2. 将/usr目录下的test2目录删除

1. cat命令：查看文件内容

2. tac命令：反向查看文件内容

3. more命令：一页一页翻动查看

4. head命令：取出前面几行

<!-- -->

1. 查看当前用户主文件夹下.bashrc文件的内容的前20行

2. 查看当前用户主文件夹下.bashrc文件的内容，后面50行不显示，只显示前面几行

1. tail命令：取出后面几行

<!-- -->

1. 查看当前用户主文件夹下.bashrc文件内容的最后20行

2. 查看当前用户主文件夹下.bashrc文件的内容，并且只列出50行以后的数据

1. touch命令：修改文件时间或创建新文件

<!-- -->

1. 在/tmp目录下创建一个空文件hello，并查看文件时间

2. 修改hello文件，将文件时间调整为5天前

1. chown命令：修改文件所有者权限

2. find命令：文件查找

3. tar命令：压缩命令

<!-- -->

1. 在根目录"/“下新建文件夹test，然后在根目录”/"下打包成test.tar.gz

2. 把上面的test.tar.gz压缩包，解压缩到/tmp目录

1. grep命令：查找字符串

2. 配置环境变量

3. 进行Hadoop伪分布式安装

访问Hadoop官网(https://hadoop.apache.org/)，下载Hadoop安装文件hadoop-3.1.3.tar.gz。在Linux虚拟机环境下完成Hadoop伪分布式环境的搭建，并运行Hadoop自带的WordCount实例检测是否运行正常。具体安装方法可以参考网络资料，也可以参考本书官网的"教材配套大数据软件安装和编程实践指南"。

答：（1）配置core-site.xml 和 hdfs-site.xml

（2）配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop

./bin/hdfs namenode --format

（3）接着开启 NameNode 和 DataNode 守护进程：

cd /usr/local/hadoop

./sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件，中间没有空格

（4）启动完成后，可以通过命令 jps 来判断是否成功启动.

（5）运行Hadoop自带的WordCount实例

例如：统计/usr/local/hadoop/目录下的LICENSE.txt文件中各个单词出现的次数

命令：./bin/hadoop jar
./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
input output

图3.1伪分布式安装成功

图3.2 访问 Web 界面

图3.3 Hadoop自带实例WordCount统计结果（部分）

4. 熟悉常用的Hadoop操作

<!-- -->

(1) 使用Hadoop用户登录Linux操作系统，启动Hadoop
(Hadoop的安装目录为"/usr/local/hadoop")，为Hadoop用户在HDFS中创建用户目录"/user/hadoop"。

答：./bin/hdfs dfs -mkdir -p /user/hadoop

(2) 接着在HDFS的目录"user/hadoop"下，创建test文件夹，并查看文件列表。

答：./bin/hdfs dfs -mkdir test

./bin/hdfs dfs -ls

(3) 将Linux操作系统本地的"~/.bashrc"文件上传到HDFS的test文件夹中，并查看test。

答：./bin/hdfs dfs -put ~/.bashrc test

./bin/hdfs dfs -ls test

(4) 将HDFS
test文件夹复制到Linux操作系统本地文件系统的"/usr/local/hadoop"目录下。

答：./bin/hdfs dfs -get test ./

ls

**
**

3、出现的问题：

1. 最开始出现安装界面分辨率太小导致安装程序显示不完整

2. Ubuntu安装完成后不能上网

3、开启 NameNode 和 DataNode 守护进程时提示ERROR: JAVA_HOME is not set
and could not be found.

4、解决方案：

1. 解决方法：先用WIN+鼠标挪动安装程序界面，找到安装按钮，完成安装后，点击VirtualBox菜单栏中的设备---->安装增强功能，然后重启虚拟机，在系统设置中可以选择调整分辨率。

2. 解决方法：关闭虚拟机后，选择VirtualBox菜单栏中的设备—>网络，由于我的电脑内置有多个网卡，所以需要查看当前主机的网络连接，选择正确的网卡名称，比如有线网卡Realtek
   PCIe GbE Family Controller和无线网卡MediaTek Wi-Fi 6 MT7921 Wireless
   LAN Card。如图所示：

3、到hadoop的安装目录修改配置文件"/usr/local/hadoop/etc/hadoop/hadoop-env.sh"，在里面找到"export
JAVA_HOME=${JAVA_HOME}"这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162”，然后，再次启动Hadoop。