kyuubi提交任务异常报错Unauthorized connection for super-user from IP

文章目录

• 报错信息
• 查看配置
• 问题原因
• proxy user

报错信息

kyuubi正常会提交spark session 会到yarn上启动application

此时日志显示连接yarn报错

• Unauthorized connection for super-user: hive/xxxxx from IP 10.xx.xx.xx, while invoking ApplicationClientProtocolPBClientImpl.getClusterMetrics over rm1 after 6 failover attempts. Trying to failover after sleeping for 27244ms

查看配置

查看集群配置 core-site.xml
hadoop.proxyuser.hive.hosts 为* 是没有问题的

查看线上加载的配置

问题原因

线上加载的配置为固定的主机，所以通过这几个主机之外的其他主机不能代理用户提交

proxy user

在kerberos环境下，如果用户需要用其他用户的kerberos凭证来完成认证，此时就需要配置proxy user。

举例：B用户访问开启kerberos的hadoop集群，此时以B用户的名义去访问hadoop集群，仅仅认证信息会使用A用户的认证信息去完成认证。
这时B用户就是proxy user。

可以限制代理用户请求的机器 此时只接受来自host1和host2的请求可以被代理   
   <property>
     <name>hadoop.proxyuser.super.hosts</name>
     <value>host1,host2</value>
   </property>
#super用户可以代理group1和group2的用户   
   <property>
     <name>hadoop.proxyuser.super.groups</name>
     <value>group1,group2</value>
   </property>
#super用户可以代理user1和user2，也可以指定为*   
   <property>
     <name>hadoop.proxyuser.super.users</name>
     <value>user1,user2</value>
   </property>

hive 也有类似

hive.server2.enable.doAs  
true 此时hiveserver2执行查询的用户为提交查询的用户
false 此时hiveserver2执行查询的用户为运行hiveserver2进程的用户，一般为hive