0
点赞
收藏
分享

微信扫一扫

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


提示:代码块部分可以左右滑动查看噢


1.问题重现


Fayson在之前的文章中介绍过《​​如何在Redhat7.4安装CDH6.0.0_beta1​​》,但当安装CDH并分发Parcel时,浏览器端会报错Parcel的hash校验失败,具体错误如下图所示。


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java


2.问题解决


1.先从CM界面点击返回


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_02

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_03


2.停止Cloudera Manager服务


[root@ip-172-31-11-174 java]# systemctl stop cloudera-scm-server

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_04


3.修改/etc/httpd/conf/httpd.conf配置文件,在<IfModule mime_module>中修改以下内容


AddType application/x-gzip .gz .tgz .parcel

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_05


4.保存httpd.conf的修改,并重启httpd服务


[root@ip-172-31-11-174 java]# systemctl restart httpd

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_06


5.再次启动Cloudera Manager服务


[root@ip-172-31-11-174 java]# systemctl start cloudera-scm-server

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_07


6.重新通过浏览器登录Cloudera Manager,点击继续


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_08


7.节点上的Cloudera Agent已经安装成功,不需要再次安装,直接从“当前管理的主机”中选择机器,点击继续。


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_09


8.选择Parcel地址,记得删除默认的所有公网的地址。


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_10

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_11


9.这时依旧会报错如下


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_12


10.查看cloudera-scm-server.log可以看到以下错误


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_13


试了很多办法依旧无法认识Parcel。。。


3.再次解决问题


1.卸载Cloudera Manager与Agent


[root@ip-172-31-11-174 ~]# yum -y remove 'cloudera-manager-*'

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_14


2.再次安装Cloudera Manager


[root@ip-172-31-11-174 ~]# yum -y install cloudera-manager-server

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_15


3.从MySQL中drop掉CM的database,然后重建


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_16


报错是因为cm用户已经创建过了


4.配置cm连接数据库并重新启动cm


[root@ip-172-31-11-174 ~]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password
[root@ip-172-31-11-174 ~]# systemctl start cloudera-scm-server

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_17


5.再次登录Cloudera Manager并点击“添加群集”,开始按照向导安装CDH


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_18


6.点击“经典向导”


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_19

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_20


7.输入要安装的主机的ip地址。


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_21


点击搜索,然后点击继续


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_22


8.设置Parcel地址,即httpd地址


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_23


9.点击“继续”


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_24

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_25

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_cloudera_26

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_27

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_28


10.再次开始分发Parcel,发现还是报错


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_29


查看agent的log如下,报错连接到CM server的guid不对,应该是之前的卸载不干净导致


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_30


11.删除cm guid文件,并重启cloudera-scm-agent


[root@ip-172-31-11-174 lib]# cd cloudera-scm-agent/
[root@ip-172-31-11-174 cloudera-scm-agent]# ll
total 28
-rw-------. 1 root root 2 Aug 4 16:11 active_parcels.json
-rw-r--r--. 1 root root 36 Aug 4 14:58 cm_guid
-rw-------. 1 root root 13781 Aug 4 16:31 response.avro
-rw-r--r--. 1 root root 36 Aug 4 14:58 uuid
[root@ip-172-31-11-174 cloudera-scm-agent]# rm -rf cm_guid
[root@ip-172-31-11-174 cloudera-scm-agent]# systemctl restart cloudera-scm-agent

(可左右滑动)


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_31


12.再次回到CM界面发现重新开始分发Parcel


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_重启_32

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_33


终于分发成功。。。


13.下面的过程省略,Fayson太多安装文档供参考了,直到你看到cm主页面。


Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_34


4.总结


1.对于离线安装CDH6 Beta,分发Parcel出现hash校验失败的问题,是因为在CM6中修复了一个bug,让它不再忽略由http服务器发送的“Content-Encoding”的header信息,但是我们在Redhat中安装的httpd服务,当它传输parcel文件时,默认会错误的设置“Content-Encoding”。于是CM server会错误的认为parcel文件已经被httpd压缩并尝试解压缩。所以会导致失败。


2.解决办法是参考第二个章节的,设置httpd的conf文件,AddType application/x-gzip .gz .tgz .parcel,然后重启httpd服务和CM服务。


3.但是带来的另外一个问题就是CM服务不再认识CDH的parcel url地址。这个问题没办法破,可能跟CM数据库会写入parcel的url相关。或者说是Beta版本不完善的地方。


4.于是Fayson卸载了CM包括drop掉database,重新安装CM和CDH。这次CM可以认识CDH的parcel url了。但是agent无法连接到CM,因为卸载后CM的guid变了,需要删掉旧的guid文件,重新启动agent服务。然后界面上会重新开始分发parcel直到成功。具体请参考第三章。


5.CDH6 beta的安装文档详细可以参考Fayson之前的文章《​​如何在Redhat7.4安装CDH6.0.0_beta1​​》


参考:

​​http://community.cloudera.com/t5/C6-Beta/Freeze-while-activating-the-CDH-Parcels/qaq-p/69551​​



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析_java_35

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论