0
点赞
收藏
分享

微信扫一扫

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

1.文档编写目的




使用DAS查看日之前,需要先知道DAS如何安装,参考《​​0853-7.1.6-如何在CDP集群上安装DAS​​》,本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。

  • 测试环境

1.集群是Cloudera Enterprise 7.3.1和Cloudera Runtime 7.1.6

2.系统均为RedHat 7.6

3.集群已启用 Kerberos

4.OpenLDAP 2.4.44-23.el7_9


2.安装Kerberos Windows客户端




为了能访问安全环境下的yarn页面,需要安装kerberos客户端。然后没有启用kerberos可以跳过此步骤。

下载地址http://web.mit.edu/kerberos/dist/#kfw-4.1

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名


然后安装

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名_02


一直下一步,选“Typical”,“No”。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_03


安装完了Kerberos客户端会自动的在path里面加上了自己的目录,但是如果windows本地安装了Oracle JDK ,该JDK里面也带了一些 kinit, klist 等命令,所以需要把 Kberberos的环境变量调整得靠前一点,如图所示:

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_04


打开cmd或者powershell,如果是下图则为正确。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_客户端_05


设置host,使Windows能通过host访问集群。

文件路径:C:\Windows\System32\drivers\etc\hosts

修改krb5.conf的配置

文件路径:C:\ProgramData\MIT\Kerberos5\krb5.ini

将Kerberos KDC所在主机的/etc/krb5.conf文件有选择的粘贴到windows的krb5.ini里面

[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = MACRO.COM

[realms]
MACRO.COM = {
kdc = hadoop99.macro.com
admin_server = hadoop99.macro.com
}

[domain_realm]
.hadoop99.macro.com = MACRO.COM
hadoop99.macro.com = MACRO.COM


0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名_06


2.1配置浏览器

目前只实现如何配置火狐Firefox浏览器,在火狐浏览器上访问Hadoop的Web UI。

谷歌+ mac-os-x参考:

​​https://superuser.com/questions/488095/google-chrome-on-mac-os-x-with-kerberos​​

打开浏览器,在地址栏输入about:config,如图所示:

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_07


点击我了解此风险继续,在搜索栏内,搜索network.negotiate-auth.trusted-uris,双击将其值修改为集群节点ip或主机名,注意:这里如果修改为主机名的话,到时候访问的话,就以主机名访问,ip的话会失效,不起作用。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名_08


搜索network.auth.use-sspi,将值改为false。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名_09


2.2Kerberos认证

我们可以双击打开我们的Kerberos客户端,点击Get Ticket。认证Kerberos主体,输入密码

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_10

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_主机名_11

也可以用cmd或者powershell。


3.获取作业application_id




进入DAS,执行作业或者找到历史作业。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_客户端_12


找到需要查找的作业,点进详细信息。找到并复制application_id

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_客户端_13


4.查看日志




任务是在YARN里面跑的,所以去yarn的UI查看日志。访问地址是:http://cdp3.macro.com:8088/ui2/#/yarn-app/application_1623833159885_0004/logs

将地址和application_id替换即可。

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_14


选择需要查看的attempt、container、和日志类型即可查看日志。

另外还有一种方式是在集群节点中用yarn命令查看:

yarn logs -applicationId application_1623833159885_0004

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志_hadoop_15


还有一种方法是在yarn-site.xml中配置

<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>

然后,日志文件会保存在HDFS的/app-logs/hdfs/logs/application_id目录下。


举报

相关推荐

0 条评论