0
点赞
收藏
分享

微信扫一扫

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


提示:代码块部分可以左右滑动查看噢


1

文档编写目的


Cloudera在2019年1月29日发布CDSW1.5,CDSW1.5的一个最大的更新就是支持CDH6和HDP,在1.5之前,CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装,本篇文章Fayson就主要讲述如何通过CM6.2使用Parcel包安装CDSW1.5。


CDSW需要DNS服务和泛域名解析,可以参考Fayson以前的文章​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​》、《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​》、《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》,《​​如何在RedHat6上使用Bind搭建DNS服务​​》或《​​如何在RedHat7上使用Bind搭建DNS服务​​》,CDSW1.5的新功能可以参考《​​0544-CDSW1.5的新功能​​搭建DNS服务推荐Dnsmasq,小巧可爱特方便。


  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装DNS服务并配置泛域名解析

4.安装CDSW服务

5.测试CDSW


  • 测试环境

1.Redhat7.2

2.采用root用户操作

3.CM/CDH6.2.0

4.CDSW版本1.5


  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

5.CDSW节点已经通过CM加入到集群中


2

安装CDSW

2.1

CDSW节点配置


在准备新添加的CDSW节点上按照之前安装CDH集群的要求,配置好需要的设置。

包括下面这些


修改hostname,并更新到所有节点的/etc/hosts文件


[root@cdsw ~]# hostnamectl set-hostname cdsw.macro.com


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析


关闭防火墙,禁用SELinux


[root@cdsw yum.repos.d]# systemctl stop firewalld
[root@cdsw yum.repos.d]# systemctl disable firewalld
[root@cdsw yum.repos.d]# setenforce 0


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_02


关闭透明大页面,设置SWAP为1


[root@cdsw ~]# echo 1 > /proc/sys/vm/swappiness
[root@cdsw ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@cdsw ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled


配置时钟同步

配置好OS的yum源后,卸载原有的chrony然后安装ntp服务


[root@cdsw yum.repos.d]# yum install -y ntp


安装好后,修改/etc/ntp.conf 让cdsw节点跟cdh01节点同步

然后重启ntpd服务,验证是否和主机已经同步,用下面的命令


[root@cdsw ~]# ntpq -p


前面出现*号 表明同步成功


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_03

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_04


2.2

部署Parcel包,安装CSD文件


把Parcel下载下来,地址如下,放到/var/www/html/cdsw1.5 这个目录下,部署成功


https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel
https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.5.0/parcels/manifest.json


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_05


下载CSD文件,使CM支持CDSW安装,文件下载地址


https://archive.cloudera.com/cdsw1/1.5.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar


下载好后放在CM所在服务器的/opt/cloudera/csd目录下


[root@cdh01 ~]# cp CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar /opt/cloudera/csd/


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_06


重启cloudera-scm-server服务


[root@cdh01 csd]# systemctl restart cloudera-scm-server


2.3

添加CDSW节点到集群


1.登录CM,新建一个主机模板,选择模板角色


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_07

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_08


添加节点到集群


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_09

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_10

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_11


一直点下一步,到添加主机模板这里,选择刚才创建的模板


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_12

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_13

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_14


完成后,可以看到cdsw节点已经添加进集群并且角色已经添加成功。


2.4

配置CDSW的Parcel库


在CM主页点开Parcel页面,添加CDSW的Parcel地址


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_15


然后下载,分配,激活


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_16

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_17

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_18

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_19


2.5

安装DNS服务并配置泛域名解析


1.安装dnsmasq


[root@cdsw ~]# yum -y install dnsmasq


2.验证安装


[root@cdsw ~]# dnsmasq -v


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_20


3.配置DNS服务以及泛域名解析,在/etc/dnsmasq.conf文件末尾增加以下配置。


[root@cdsw ~]# vim /etc/dnsmasq.conf
strict-order
listen-address=192.168.0.195
addn-hosts=/etc/hosts
address=/cdsw.macro.com/192.168.0.195
address=/cdsw/192.168.0.195


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_21


4.启动dnsmasq服务,并加入开机自启动


[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq


5.修改/etc/resolv.conf文件配置,在nameserver中增加创建的DNS服务器IP地址,这里是将cdsw本机配置为dns服务器,所以将cdsw这台机器的内网IP地址配置到该文件中。


[root@cdsw ~]# vim /etc/resolv.conf


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_22


6.泛域名解析测试


[root@cdsw ~]# nslookup 192.168.0.195
[root@cdsw ~]# nslookup cdsw.macro.com
[root@cdsw ~]# nslookup xxx.cdsw.macro.com


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_23


2.6

安装CDSW服务


在CM主页,集群按钮旁,点击添加服务


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_24


选择CDSW


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_25


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_26


继续,选择Master主机,由于只有一台服务器,就不添加work节点了。


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_27

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_28

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_29

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_30


安装完成


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_31


3

验证CDSW功能


在登陆CDSW之前,我们先配置好Windows机器里面的DNS服务和hosts文件


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_32

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_33


配置完之后,登陆CDSW


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_34


点击Web UI,进入登陆界面,点击注册


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_hive_35


注册完成后,自动登陆CDSW界面,首次注册的账号自动为管理员账号


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_36


点击New Project创建一个Python工程


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_37


点击Create Project,然后点击Open Workbench


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_38


点击Launch Session


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_cloudera_39


执行示例代码,验证完成


0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_40


5

总结


  • CDSW访问时需要用到泛域名,因此必须为CDSW Master节点配置泛域名解析,具体可参看Fayson前面讲的​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​》、《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​》、《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》,《​​如何在RedHat6上使用Bind搭建DNS服务​​》或《​​如何在RedHat7上使用Bind搭建DNS服务​​
  • CDSW节点是运行在CM管理的Gateway节点上的,所有CDSW的节点需要满足CDH的前置条件检查,具体可以参考《​​CDH安装前置准备​​
  • CDSW所有节点需要加入CDH集群,并部署HDFS 、Yarn、Spark2的Gateway
  • CDSW Master节点需要有多块DISK,磁盘空间大于100G,不需要对磁盘进行格式化分区操作。
  • 注意CDH6的CDSW的csd文件与CDH5的是不相同的。


提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5_域名解析_41


举报

相关推荐

0 条评论