0
点赞
收藏
分享

微信扫一扫

ElasticSearch基础学习(SpringBoot集成ES)

yeamy 2023-07-13 阅读 29

Flink整合HDFS提交作业时报错

分享一个Flink提交作业时的报错,由于我用的是1.12版本的Flink,对于Hadoop3.0新特性是没有支持的,我的Hadoop版本是3.3.1。然后flink-shaded-hadoop-3-uber jar包是没有的,需要手动添加。

报错

解决方案

我也试过很多中解决方案

第一种

添加HADOOP_CLASSPATH环境变量,但是我试了没有效果

第二种

在你的项目中添加hadoop-client这个jar包,我也试过了,并没有很好解决,也给出下面的依赖。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${你的hadoop版本}</version>
</dependency>

第三种

在flink下面添加两个jar包,可以从Maven中心仓库中下载。

https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.2.1.0-327-9.0

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
commons-cli-1.5.0.jar 

第三种我试过是可以提交作业成功的,然后自己提交的作业也可以运行。
在这里插入图片描述

参考链接

https://www.bilibili.com/read/cv11506216

举报

相关推荐

0 条评论