0
点赞
收藏
分享

微信扫一扫

Ubuntu中实现Hadoop集群

舟海君 2022-05-09 阅读 55
hadoop大数据linuxubuntuhdfsHadoop



文章目录

  • ​​hadoop集群​​
  • ​​java安装（以主节点为例）​​
  • ​​1、上传jdk安装包，并解压​​
  • ​​2、所有节点编辑环境变量​​
  • ​​3、复制到从节点​​
  • ​​4、使各节点jdk环境变量生效​​
  • ​​5、测试​​
  • ​​hadoop安装​​
  • ​​1、上传hadoop安装包，并解压​​
  • ​​2、所有节点编辑hadoop环境变量​​
  • ​​3、使所有节点hadoop环境变量生效​​
  • ​​4、编辑hadoop配置文件（6个）​​
  • ​​5、复制到从节点​​
  • ​​6、修改文件属性​​
  • ​​hadoop启动测试​​
  • ​​1、格式化namenode​​
  • ​​2、启动hadoop​​
  • ​​3、启动jobhistoryserver​​
  • ​​4、查看各节点进程​​
  • ​​5、查看对应网址（两个）​​
  • ​​6、查找DFS报告和文件块检查​​
  • ​​Hadoop shell​​

hadoop集群

准备工作：

具体查看同专栏

初入Ubuntu常见问题以及集群前的必要配置（1）

初入Ubuntu常见问题以及集群前的必要配置（2）

1、装系统

2、配置网络

3、虚拟机改名

4、配置hostname文件

3、APT软件源配置

6、安装openssh-server

7、关闭防火墙

java安装（以主节点为例）

1、上传jdk安装包，并解压

这里我直接用rz命令上传文件，不再用winscp，若想了解请看《云计算与大数据》专栏

先下载lrzsz工具

hadoop@ddai-master:~$ sudo apt install lrzsz

下载好后直接执行 rz 命令，会跳出文件选择的窗口，直接选择需要的即可（不适合比较大的文件，传送起来会比较慢）

Ubuntu中实现Hadoop集群_ubuntu

传送好后查看：

Ubuntu中实现Hadoop集群_hdfs_02

解压到opt/目录下

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/jdk-8u221-linux-x64.tar.gz -C /opt/

Ubuntu中实现Hadoop集群_大数据_03

所有节点修改文件属性

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/

2、所有节点编辑环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile 

#添加
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH

Ubuntu中实现Hadoop集群_hadoop_04

3、复制到从节点

hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave1:/opt/
hadoop@ddai-master:~$ scp -r /opt/jdk1.8.0_221/ hadoop@ddai-slave2:/opt/

4、使各节点jdk环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile

5、测试

hadoop@ddai-master:~$ java -version
hadoop@ddai-master:~$ javac -version

Ubuntu中实现Hadoop集群_hdfs_05

hadoop安装

1、上传hadoop安装包，并解压

用 rz 命令打开上传窗口，直接点击要上传的包

Ubuntu中实现Hadoop集群_大数据_06

执行解压

hadoop@ddai-master:~$ sudo tar xzvf /home/hadoop/hadoop-2.8.5.tar.gz -C /opt/

2、所有节点编辑hadoop环境变量

hadoop@ddai-master:~$ vim /home/hadoop/.profile 
hadoop@ddai-slave1:~$ vim /home/hadoop/.profile 
hadoop@ddai-slave2:~$ vim /home/hadoop/.profile 


export HADOOP_HOME=/opt/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

Ubuntu中实现Hadoop集群_hadoop_07

3、使所有节点hadoop环境变量生效

hadoop@ddai-master:~$ source /home/hadoop/.profile 
hadoop@ddai-slave1:~$ source /home/hadoop/.profile 
hadoop@ddai-slave2:~$ source /home/hadoop/.profile

4、编辑hadoop配置文件（6个）

（1）hadoop-env.sh

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hadoop-env.sh

Ubuntu中实现Hadoop集群_hadoop_08

（2）core-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/core-site.xml 

#内容如下
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ddai-master:9000</value> 
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.8.5/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

（3）hdfs-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/hdfs-site.xml 

#内容如下
<configuration>  
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>ddai-master:50090</value>
  </property>
  
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/name</value>
  </property>
  
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/data</value>
  </property>
  
  <property>
    <name>fs.checkpoint.dir</name>
    <value>/opt/hadoop-2.8.5/dfs/namesecondary</value>
  </property>
  
  <property>
    <name>dfs.block.size</name>
    <value>134217728</value>
  </property>
  
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>20</value>
  </property>
  
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

</configuration>

（4）mapred-site.xml

hadoop@ddai-master:~$ sudo mv /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml
hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/mapred-site.xml 

#先进行修改文件名，再添加内容如下
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>ddai-master:10020</value>
  </property>
  
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ddai-master:19888</value>
  </property>
</configuration>

（5）yarn-site.xml

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/yarn-site.xml

#内容如下 
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ddai-master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

（6）slaves

hadoop@ddai-master:~$ sudo vim /opt/hadoop-2.8.5/etc/hadoop/slaves

#内容如下 
ddai-slave1
ddai-slave2

5、复制到从节点

hadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave1:/opt
hadoop@ddai-master:~$ sudo scp -r /opt/hadoop-2.8.5 hadoop@ddai-slave2:/opt

6、修改文件属性

所有节点执行修改属性命令

hadoop@ddai-master:~$ sudo chown -R hadoop:hadoop /opt/*
hadoop@ddai-slave1:~$ sudo chown -R hadoop:hadoop /opt/*
hadoop@ddai-slave2:~$ sudo chown -R hadoop:hadoop /opt/*

hadoop启动测试

1、格式化namenode

hadoop@ddai-master:~$ hdfs namenode -format

成功后为如下显示：

Ubuntu中实现Hadoop集群_linux_09

2、启动hadoop

Ubuntu中实现Hadoop集群_ubuntu_10

若要关闭执行命令

stop-all.sh

3、启动jobhistoryserver

Ubuntu中实现Hadoop集群_大数据_11

若要关闭执行

mr-jobhistory-daemon.sh stop historyserver

4、查看各节点进程

Ubuntu中实现Hadoop集群_linux_12

Ubuntu中实现Hadoop集群_大数据_13

Ubuntu中实现Hadoop集群_hdfs_14

5、查看对应网址（两个）

Ubuntu中实现Hadoop集群_linux_15

Ubuntu中实现Hadoop集群_hdfs_16

Ubuntu中实现Hadoop集群_hdfs_17

Ubuntu中实现Hadoop集群_hadoop_18

6、查找DFS报告和文件块检查

DFS报告如下

Ubuntu中实现Hadoop集群_ubuntu_19

文件块检查如下

Ubuntu中实现Hadoop集群_大数据_20

Hadoop shell

在HDFS中创建目录，并写入文件上传查看

创建写入：

Ubuntu中实现Hadoop集群_ubuntu_21

上传查看文件：

Ubuntu中实现Hadoop集群_大数据_22



举报

相关推荐

Ubuntu 20.04 搭建hadoop 集群

java后端

Ubuntu集群安装Hadoop和Hive

hadoophive

Ubuntu 安装 Ganglia并绑定hadoop集群

hadoop重启apache系统/运维

Ubuntu下部署Hadoop集群+Hive（四）

hadoopubuntuhive

Ubuntu下部署Hadoop集群+Hive（二）

kubernetesmysql架构

Ubuntu下部署Hadoop集群+Hive（一）

音视频android

【分布式】hadoop安装篇（9）在Ubuntu中使用CDH安装hadoop集群（中）

cloudera数据库JavaScript前端开发

Zookeeper实现Hadoop高可用集群

zookeeper服务器数据Html/CSS前端开发

Hadoop集群中增加新节点

大数据javahadoopHadoopxmlPython后端开发

hadoop 3.1.3集群搭建 ubuntu20

typescriptubuntulinux
0 条评论