Docker配置hadoop

Docker配置hadoop集群

• • 一、环境准备
  • 二、安装并启动Docker
  • 三、 配置hadoop
  • 四、启动hadoop集群
  • 五、关闭hadoop集群
  • 六、卸载Docker

一、环境准备

• 操作系统：Centos7.9

二、安装并启动Docker

1. 安装
   方法一：从阿里云镜像获取安装包

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

方法二：从docker官方获取安装包

 sudo yum install -y yum-utils

 sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

获取到安装包以后开始安装

yum install -y docker-ce docker-ce-cli containerd.io

2. 启动

sudo systemctl start docker

三、 配置hadoop

1. 下载doker下的hadoop

docker pull kiwenlau/hadoop1.0

2. 在docker中搭建网络

docker network create –d=bridge hadoop

3. 创建hadoop-master容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster1 \
--hostname haddoop-master \
-p 50070:50070 \
-p 9000:9000 \
-p 8088:8088 \
kiwenlau/hadoop1.0

4. 创建hadoop-slave1容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster2 \
--hostname haddoop-slave1 \
kiwenlau/hadoop1.0

5. 创建hadoop-slave2容器

docker run -itd \
--net=hadoop \
--name hadoop-cluster3 \
--hostname haddoop-slave2 \
kiwenlau/hadoop1.0

四、启动hadoop集群

1. 进入hadoop-master容器

docker exec -it hadoop-master bash

2. 启动hadoop集群

./start-hadoop.sh

3. 使用jps命令查看启动的服务

五、关闭hadoop集群

1. 使用exit可以退出当前容器的命令窗口

    exit
   

2. 退出容器命令窗口后可使用docker stop hadoop-master命令停止容器，停止后容器不再运行

3. 可使用docker ps命令查看所有容器的运行情况

六、卸载Docker

1. 卸载 Docker软件包

 sudo yum remove docker-ce docker-ce-cli containerd.io

2. 卸载docker后，主机上的容器等一系列文件不会自动删除，删除所有docker有关文件可用：

 sudo rm -rf /var/lib/docker
 sudo rm -rf /var/lib/containerd