0
点赞
收藏
分享

微信扫一扫

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件

静悠 2022-09-22 阅读 128

文档编写目的


默认情况下, CentOS和RedHat5.5或更高的版本中,对Kerberos 票证使用AES-256加密,因此必须在集群所有节点的JDK中安装Java Cryptography Extension(JCE)无限制强度加密策略文件。在安装JCE文件的Kerberos集群中,服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。


注意:使用JDK 1.8.0_161或更高版本时,不需要再安装JCE Policy File。JDK 1.8.0_161默认启用无限强度加密。


  • 测试环境:

1.Redhat7.2

2.采用root用户操作

3.CM/CDH6.2.0


手动安装JCE Policy File


1.确认当前CDH集群使用的JDK路径

可以使用“ps -ef”命令查看启动的java服务使用的JDK版本的路径


[root@cdh01 ~]# ps -ef |grep java


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop


从截图中可以看到当前使用的JDK路径为/usr/java/jdk1.8.0_181-cloudera

也可以进入CM主页→主机→主机配置,通过搜索java查看集群配置的JDK目录,如果未配置则说明集群使用CM自带的JDK版本。


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_02

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_03


2.在Oracle官网下载JCE安装包,地址如下


http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_04


3.将下载的jce_policy-8.zip文件上传集群的任意节点并解压


[root@cdh01 ~]# unzip jce_policy-8.zip


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_05


4.把UnlimitedJCEPolicyJDK8目录下的所有jar包拷贝至集群所有节点的${JAVA_HOME}/jre/lib/security目录下


[root@cdh01 UnlimitedJCEPolicyJDK8]# cp *.jar /usr/java/jdk1.8.0_181-cloudera/jre/lib/security


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_06


[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh02.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security
[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh03.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_07


至此完成集群所有节点JDK的JCE加密策略文件。


使用CM安装JCE Policy File


1.登陆CM,在浏览器输入http://192.168.0.204:7180/cmf/upgrade-wizard/wizard进入升级界面


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_08


输入与当前集群CM版本匹配的私有源地址


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_09


2.完成CM私有源配置后,点击“继续”,勾选安装JDK和Java无限制强度界面策略文件


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_10


3.点击“继续”,一直继续直到提示完成升级


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_11


如上图所示,通过Cloudera Manager引导界面的方式安装JCE加密策略文件就完成了。


4.由于通过CM安装JCE是需要勾选了安装JDK才能复选JCE安装。这里我们把当前安装的Oracle JDK迁移到Open JDK,再通过CM安装JCE来验证JCE是安装到了我自定义的Open JDK中还是安装到了Oracle JDK中。


现在把Oracle JDK迁移到Open JDK,过程省略。迁移后如下图


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_12


将集群所有节点的OpenJDK安装目录jre/lib/security下,可以看到JCE安装包都存在,手动把所有节点上的JCE安装包删除。


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_13


所有节点的Open JDK的security目录下的JCE安装包删除后如下图


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_14


同时也删除/usr/java/jdk1.8.0_181-cloudera/jre/lib/security目录下的JCE策略文件,是CM安装Oracle JDK的默认目录,删除后如下图


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_15


再次通过CM的引导界面安装JDK的JCE策略文件,安装完成后,发现Oracle JDK和Open JDK的${JAVA_HOME}/jre/lib/security目录下都没有JCE的策略文件,因为这两个版本的JDK都是默认启用JCE加密的。


这里我继续创建了一个Kerberos账号ace1,可以看到是用的AES-256加密,且集群的服务是可以正常运行。


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_16


5.上面的验证并没有将JCE策略文件安装到我们预想的目录下,接着在CDH5.16.2环境下再次测试


删除集群所有节点JDK里面的JCE策略文件,删除后重启CMS出现异常“Cannot locate policy or framework files!”


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_17

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_18


当前CDH5集群只有这一个JDK安装包


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_19


再通过CM引导界面为JDK安装JCE


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_20

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_21


安装完成后,可以看到集群所有节点都新安装了Oracle JDK 1.7


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_22


查看/usr/java/jdk1.8.0_144-cloudera/jre/lib/security目录,依然是跟安装前一样,并未将JCE策略文件安装到指定的JDK8的相应目录下。


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_23


根据上面的测试,可以确认通过CM的方式来安装JCE的话,JCE不会安装到当前集群使用的JDK目录下,而是安装在同时勾选的JDK安装目录下(即CM默认自带的JDK目录下)。


禁用Kerberos的AES-256加密


1.使用klist -e查看当前Kerberos账号的加密方式,如下图,可以看到默认使用的是AES-256的加密方式


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_24


2.接下来修改/var/kerberos/krb5kdc/kdc.conf文件将AES-256加密类型删除


[root@cdh01 krb5kdc]# vim /var/kerberos/krb5kdc/kdc.conf


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_java_25


3.修改完成kdc.conf文件配置后,需要重启kadmin和krb5kdc服务使其生效


[root@cdh01 krb5kdc]# systemctl restart krb5kdc
[root@cdh01 krb5kdc]# systemctl restart kadmin


4.重启完krb5kdc和kadmin服务后,在命令行验证Kerberos账号


kadmin.local:  addprinc enpop1
[root@cdh01 krb5kdc]# kinit enpop1
Password for enpop1@HADOOP.COM:
[root@cdh01 krb5kdc]# klist -e
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: enpop1@HADOOP.COM

Valid starting Expires Service principal
07/03/2019 17:49:56 07/04/2019 17:49:56 krbtgt/HADOOP.COM@HADOOP.COM
renew until 07/10/2019 17:49:56, Etype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_hadoop_26


注意:通过测试发现,修改配置并未生效显示Principal仍然支持AES-256。因为这个配置是数据库生成的时候配置的,导致修改了kdc配置文件后不能及时生效,需要重建KDC数据库。


5.删除KDC数据库的数据文件,通过如下命令重新生成数据库文件,并重启kadmin和krb5kdc服务,再次添加一个Principal账号,可以看到加密方式中已不支持AES-256


[root@hadoop1 ~]# rm -rf /var/Kerberos/krb5kdc/principal*
[root@hadoop1 ~]# kdb5_util create -r MACRO.COM -s
[root@hadoop1 ~]# systemctl restart kadmin
[root@hadoop1 ~]# systemctl restart krb5kdc
kadmin.local: addprinc admin/admin@MACRO.COM
[root@hadoop1 krb5kdc]# kinit admin/admin
[root@hadoop1 krb5kdc]# klist -e


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_27


总结


1.JDK 1.8.0_161之前版本的Java默认的AES最大支持128bit的秘钥,如果使用256bit的秘钥则需要为Java安装JCE Policy File。


2.JDK 1.8.0_161或更高版本的JDK是不需要再安装JCE Policy File,默认已默认启用无限强度加密。


3.可以通过手动或CM引导的方式为CDH集群的JDK安装JCE策略文件。


4.可以使用ps -ef命令查看当前集群使用的JDK路径,也可以通过CM的配置界面查看JDK的HOME目录(CM默认的JDK配置目录为/usr/java/jdk1.xxx-cloudera),C5默认使用JDK7,C6默认使用的JDK8。


5.通过前面的测试发现通过CM的引导界面来为CDH集群的JDK安装JCE策略文件,只能为升级向导中同时安装的JDK(即CM默认自带的JDK)添加JCE策略文件,如果集群使用自定义的JDK版本则需要通过手动的方式安装JCE。


6.要禁用Kerberos的AES-256加密类型时,只是修改kdc.conf配置文件,重启服务后是不会生效的,必须重建KDC数据库。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件_cloudera_28

举报

相关推荐

0 条评论