0
点赞
收藏
分享

微信扫一扫

centos7通过CDH部署Hadoop

一、角色分配及安装环境准备

资料下载地址:

链接: 百度网盘

1.机器及机器角色规划

centos7通过CDH部署Hadoop_hadoop

2.关闭防火墙及SELinux

3.安装依赖(server)

redhat-lsb-core

4.配置hosts解析

192.168.1.136 hadoop01
192.168.1.137 hadoop02
192.168.1.138 hadoop03

5.配置Cloudera Manager yum仓库(server)

#服务端配置
yum install nginx -y
mkdir -p /usr/share/nginx/html/cm6/
mv *.rpm /usr/share/nginx/html/cm6/
createrepo -pdo /usr/share/nginx/html/cm6/ /usr/share/nginx/html/cm6/

vim /etc/nginx/nginx.conf
   root         /usr/share/nginx/html/cm6/;
   autoindex    on;

systemctl restart nginx
systemctl enable nginx


#客户端配置
vim /etc/yum.repos.d/cm.repo
[cm-repo]
name=cm
baseurl=http://192.168.1.136
gpgcheck=0
enabled=1

yum repolist 
cm-repo                                     cm                                                  6
yum list | grep cloudera

6.创建cloudera-scm用户(server)

useradd cloudera-scm
echo "cloudera-scm" |passwd --stdin cloudera-scm
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers

7.安装MySQL(集群内安装)

参考:

create database scm DEFAULT CHARACTER SET utf8;
grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'hadoop01' IDENTIFIED BY 'Qwer@123' WITH GRANT OPTION;
flush privileges;

8.所有节点安装jdk

yum install oracle-j2sdk1.8 -y  #不要自定义安装

二、安装CM Server及Agent服务

1.安装服务

yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

cp mysql-connector-java-5.1.40.jar /opt/cloudera/cm/lib

/opt/cloudera/cm/schema/scm_prepare_database.sh -h 192.168.1.136 mysql scm root Qwer@123 # 主机 database类型 数据库名称 账号 密码 
cat /etc/cloudera-scm-server/db.properties #初始后保存连接的相关信息 
systemctl start cloudera-scm-server 
netstat -tnlp #7180端口

2.配置本地parcel包

#必须要在数据库初始化后执行
cp CDH-6.2.1-*  allkeys.asc /opt/cloudera/parcel-repo
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha   #删除结尾1

3.访问控制台

centos7通过CDH部署Hadoop_hadoop_02

4.配置parcel

回到主页

centos7通过CDH部署Hadoop_cloudera_03

centos7通过CDH部署Hadoop_hadoop_04

 

centos7通过CDH部署Hadoop_nginx_05

修改更新频率为1分钟,默认1个小时

centos7通过CDH部署Hadoop_hadoop_06

等待一分钟,确保出现torrent文件

centos7通过CDH部署Hadoop_cloudera_07

5.创建集群

centos7通过CDH部署Hadoop_nginx_08

centos7通过CDH部署Hadoop_cloudera_09

centos7通过CDH部署Hadoop_hadoop_10

根据企业实际情况选择对应的版本,因为实验选择免费版本

centos7通过CDH部署Hadoop_hadoop_11

定义集群名称

centos7通过CDH部署Hadoop_cloudera_12

定义主机名称

 

centos7通过CDH部署Hadoop_hadoop_13

centos7通过CDH部署Hadoop_cloudera_14

centos7通过CDH部署Hadoop_hadoop_15

centos7通过CDH部署Hadoop_nginx_16

centos7通过CDH部署Hadoop_nginx_17

 其他会自动安装

6.检查集群

centos7通过CDH部署Hadoop_nginx_18

centos7通过CDH部署Hadoop_nginx_19

 

centos7通过CDH部署Hadoop_hadoop_20

centos7通过CDH部署Hadoop_hadoop_21

 

centos7通过CDH部署Hadoop_nginx_22

7.修复问题

临时生效:
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效:
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

8.新增主机

centos7通过CDH部署Hadoop_cloudera_23

centos7通过CDH部署Hadoop_hadoop_24

 

centos7通过CDH部署Hadoop_cloudera_25

centos7通过CDH部署Hadoop_cloudera_26

 其余步骤与上面类似,不在赘述

centos7通过CDH部署Hadoop_cloudera_27

三、安装CM service服务

 1.CM service服务简介

可作为一组角色实施各种管理功能

1. Activity Monitor:收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色,实际生产环境也是不需要的。
2. Host Monitor:收集有关主机的运行状况和指标信息。
3. Service Monitor:从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。
4. Event Server:聚合组件的事件并将其用于警报和搜索。
5. Alert Publisher :为特定类型的事件生成和提供警报,实际情况下用的也少。

2.创建服务所需的相关目录(server)

mkdir -p /var/lib/cloudera-host-monitor
mkdir /var/lib/cloudera-service-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

3.安装

centos7通过CDH部署Hadoop_cloudera_28

centos7通过CDH部署Hadoop_cloudera_29

 

centos7通过CDH部署Hadoop_cloudera_30

 安装,稍等一会查看是否有监控数据

centos7通过CDH部署Hadoop_hadoop_31

四、安装HDFS服务 

centos7通过CDH部署Hadoop_nginx_32

centos7通过CDH部署Hadoop_nginx_33

centos7通过CDH部署Hadoop_nginx_34

定义相关配置默认即可

centos7通过CDH部署Hadoop_cloudera_35

 所有步骤执行完成

centos7通过CDH部署Hadoop_cloudera_36

centos7通过CDH部署Hadoop_hadoop_37

centos7通过CDH部署Hadoop_cloudera_38

优dfs.permissions化配置否则会因为权限问题不能再hdfs中创建目录和文件

centos7通过CDH部署Hadoop_nginx_39

 

 

centos7通过CDH部署Hadoop_nginx_40

 

centos7通过CDH部署Hadoop_cloudera_41

 

手动测试写入数据 

centos7通过CDH部署Hadoop_hadoop_42

 

 

 

centos7通过CDH部署Hadoop_hadoop_43

 

centos7通过CDH部署Hadoop_hadoop_44

没有问题,安装成功

五、安装YARN服务

 无特殊配置,参考上一步按提示填入对应的内容,其他默认即可

 验证

cd /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hadoop-mapreduce/
hadoop jar  hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar pi 2 4

六、安装 Hive(选择带需要ZK)

1.数据中创建Hive库

2.拷贝mysql驱动

cp mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

3.集群安装服务

centos7通过CDH部署Hadoop_hadoop_45

centos7通过CDH部署Hadoop_cloudera_46

centos7通过CDH部署Hadoop_hadoop_47

验证

#验证
hive #执行命令
select from_unixtime(1583781807, 'yyyy-MM-dd');

#UI
http://hadoop01:10002/

 https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/introduction.html

"一劳永逸" 的话,有是有的,而 "一劳永逸" 的事却极少



举报

相关推荐

0 条评论