0
点赞
收藏
分享

微信扫一扫

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点

作者:李继武


1

文档编写目的


在前面的文章中,Fayson介绍过非Kerberos环境下跨操作系统的Gateway节点配置,参考《​​0567-6.1.0-非Kerberos环境下集群外跨操作系统的Gateway节点配置​​》。本文档介绍如何在用redhat搭建的带kerberos认证的CDH集群外用suse12系统向安全模式的CDH集群提交任务,访问数据,即在suse12系统中配置一个不被CM管理的gateway节点。


2

前置条件


第一步可依据在为非安全模式的集群添加suse12系统的客户端节点的步骤进行配置,配置完成后执行访问hdfs 的命令会出现如下的报错:


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar


在拷贝配置文件过程中,拷贝每一个服务的配置文件,一定要从有这个服务的角色或者gateway节点上拷贝。


3

配置Kerberos


1. 安装Kerberos客户端


zypper install krb5-client


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_02


2. 从集群的任意节点中拷贝/etc/krb5.conf配置文件


scp -r cdh4.macro.com:/etc/krb5.conf /etc


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_03

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_04


3. 验证


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_05


4

配置环境变量


在未配置环境变量前,访问集群时可能仍然出现找不到凭证的问题:


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_06


查看缓存的文件位置:


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_07


将该地址添加到环境变量中


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_08


更新环境变量之后重新访问集群


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_09


5

组件验证


1. 验证hdfs

在目录下创建k.txt文件


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_10


在hdfs上新建一个目录/tmp/ktest


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_11


将k.txt上传到/tmp/ktest目录下


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_12


将本地的a.txt删除,从hdfs上拉取下来并查看


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_13


2. 验证mapreduce


hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar pi 5 5


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_14

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_15


在控制台上查看,生成了任务


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_16


3. 验证hive


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_hdfs_17

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_18


4. 验证spark


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_19


5. 验证hbase


0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_20

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_配置文件_21

0571-5.16.1-Redhat7的CDH集群外配置Kerberos环境SUSE12的Gateway节点_jar_22


举报

相关推荐

0 条评论