0
点赞
收藏
分享

微信扫一扫

hive3.1.2编译spark3安装包

沪钢木子 2024-11-19 阅读 19

此安装包是《去破解站长》在公司真实生产环境所使用的安装包。

引言:Hive引擎包括:默认MR、tez、spark

Download:www.qupojie.com

1、Hive on Spark

2、hive3.1.2编译

  • 使用hive3.1.2和spark3.0.0配置hive on
    spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容。
  • hive3.1.2默认支持的版本为spark2.3.0,而spark3.0对应的hadoop版本是hadoop2.6或hadoop2.7或更高。
  • 所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。
  • 目前,有关hive3.1.2编译的帖子相对较少,,除了兼容spark3.0.0外,还将hive3.1.3的guava的版本提升到了hadoop3.x一致,以兼容hadoop3.2.0。
  • 另外还修复官方hive3.1.2release版本的一些bug,详见hive3.1.2修复bug。
举报

相关推荐

0 条评论