有时我们的flink作业中打印太多日志(可能GB级别),在flink job web上加载就会很慢,这时我们想找到job输出的文件存放在哪个节点的目录下,并直接去查看日志文件,但是怎么找呢,来吧我们看下,我有个场景,flink作业中使用System.out.print输出了很多日志,导致在flink job web上加载就很慢,下载该日志时提示有15G,所以干脆不要下载了。我们查看下flink on yarn的作业启动输出信息,找下它的任务在哪几个节点跑,并且找到日志位置信息,我们打开它的yarn任务界面
如图:
在这里我们可以看到flink任务启动了两个container,我们再到flink job web上查看作业启动信息,拿到日志输出位置,如图
这样我们就到相应的container所在节点相应的日志目录下找到输出日志就可以了,注意,flink job web上的Stdout日志对应着container中的taskmanager.out日志文件,我们直接看该文件就可以了