0
点赞
收藏
分享

微信扫一扫

如何在CDH5.13中安装CDSW1.2

花海书香 2022-09-22 阅读 119

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


1.文档编写目的



Cloudera前一段时间发布了CDH5.13版本,5.13的新功能可以参考前一篇文章《​​CDH5.13和CM5.13的新功能​​》,在CDH5.13版本以后支持CDSW的Parcel安装,本篇文章就主要讲述如何通过CM使用Parcel包安装CDSW。

CDSW需要DNS服务和泛域名解析,可以参考Fayson以前的文章《​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​​》或《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​​》或《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​​》,CDSW1.2的新功能可以参考《​​CDSW1.2的新功能​​》。


  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装CDSW服务

4.测试CDSW


  • 测试环境

1.CentOS7.2

2.采用root用户操作

3.CM和CDH版本5.13.0

4.CDSW版本1.2.0


  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析


2.部署CDSW Parcel包



1.下载CDSW的Parcel,下载地址如下

​​http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel​​http://archive.cloudera.com/cdsw/1/parcels/1.2.0/CDSW-1.2.0.p1.183075-el7.parcel.sha1
http://archive.cloudera.com/cdsw/1/parcels/1.2.0/manifest.json


2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.2.0目录下

[root@cdh01 cdsw1.2.0]# lltotal 4011980-rwxr-xr-x 1 rootroot 4108254806 Nov  2 20:30CDSW-1.2.0.p1.183075-el7.parcel-rwxr-xr-x 1 rootroot         40 Nov 2 18:47 CDSW-1.2.0.p1.183075-el7.parcel.sha1-rwxr-xr-x 1 rootroot       4231 Nov  218:47 manifest.json[root@cdh01 cdsw1.2.0]# 

如何在CDH5.13中安装CDSW1.2_hive


3.通过浏览器测试是否部署成功

如何在CDH5.13中安装CDSW1.2_h5_02

看到以上界面说明部署成功。


3.安装CSD文件



1.下载CSD文件,使CM支持CDSW安装,文件下载地址

​​http://archive.cloudera.com/cdsw/1/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar​​


2.将下载的CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下

[root@cdh01csd]# cd /opt/cloudera/csd/[root@cdh01csd]# ll-rw-r--r--1 root root 8158 Oct 2005:52CLOUDERA_DATA_SCIENCE_WORKBENCH-1.2.0.jar[root@cdh01csd]#

如何在CDH5.13中安装CDSW1.2_h5_03


3.重启Cloudera-scm-server服务

[root@cdh01csd]# service cloudera-scm-server restartRestartingcloudera-scm-server (via systemctl):            OK  ][root@cdh01csd]# 

如何在CDH5.13中安装CDSW1.2_h5_04


4.添加CDSW节点到集群



1.登录CM,新建一个主机模板


如何在CDH5.13中安装CDSW1.2_h5_05


2.选择模板拥有的角色

如何在CDH5.13中安装CDSW1.2_hive_06


3.完成主机模板创建


如何在CDH5.13中安装CDSW1.2_h5_07


4.使用添加主机引导,进行主机添加,将cdswmaster主机添加到集群


如何在CDH5.13中安装CDSW1.2_cloudera_08


5.选择cdswmaster主机,应用主机模板

如何在CDH5.13中安装CDSW1.2_hive_09

如何在CDH5.13中安装CDSW1.2_h5_10


应用成功

如何在CDH5.13中安装CDSW1.2_h5_11


5.配置CDSW的Parcle库



1.配置parcel库


如何在CDH5.13中安装CDSW1.2_hive_12


2.下载、分配并激活


如何在CDH5.13中安装CDSW1.2_hive_13


3.完成激活


如何在CDH5.13中安装CDSW1.2_cloudera_14


6.安装CDSW服务



1.进入CM主页,选择集群点击“添加服务”

如何在CDH5.13中安装CDSW1.2_hive_15



2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”


如何在CDH5.13中安装CDSW1.2_h5_16


3.选择Master和Worker,点击“继续”


如何在CDH5.13中安装CDSW1.2_hive_17


4.输入Domain和Block Device,点击“继续”


如何在CDH5.13中安装CDSW1.2_cloudera_18



5.首次运行CDSW,点击“继续”


如何在CDH5.13中安装CDSW1.2_h5_19



6.完成CDSW安装


如何在CDH5.13中安装CDSW1.2_hive_20

如何在CDH5.13中安装CDSW1.2_h5_21


CDSW启动需要一段时间,等待10-20分钟后再访问CDSW控制台。


7.测试CDSW功能



1.进入CDSW服务,点击链接登录CDSW控制台


如何在CDH5.13中安装CDSW1.2_h5_22


2.点击CDSW Web UI进入CDSW登录界面

如何在CDH5.13中安装CDSW1.2_hive_23


3.点击“Sign Up fo a New Account”注册,首次注册的账号默认为管理员账号

如何在CDH5.13中安装CDSW1.2_hive_24


4.使用admin用户登录CDSW

如何在CDH5.13中安装CDSW1.2_h5_25


5.点击New Project创建一个Python工程


如何在CDH5.13中安装CDSW1.2_hive_26


6.工程创建完成后,打开“Open Workbench”,启动一个python的会话


如何在CDH5.13中安装CDSW1.2_h5_27


7.执行示例代码


如何在CDH5.13中安装CDSW1.2_h5_28

这里Fayson就简单的创建一个Python工程,运行工程里的事例代码测试,更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。


8.总结



  • CDSW访问时需要用到泛域名,因此必须为CDSW Master节点配置泛域名解析,具体可参看Fayson前面讲的《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》
  • CDSW节点是运行在CM管理的Gateway节点上的,所有CDSW的节点需要满足CDH的前置条件检查,具体可以参考《​​CDH安装前置准备​​》
  • CDSW所有节点需要加入CDH集群,并部署HDFS 、Yarn、Spark2的Gateway
  • CDSW Master节点需要有多块DISK,磁盘空间大于100G,不需要对磁盘进行格式化分区操作。



为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。





推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何在CDH5.13中安装CDSW1.2_cloudera_29

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论