0
点赞
收藏
分享

微信扫一扫

spark-sql建表数据同步到hive

是她丫 2024-09-30 阅读 21
sparksqlhive

1、基础环境

组件版本备注
hadoop3.4.0官方下载
hive3.1.3自编译
sparkspark-3.5.3-bin-hadoop3官方下载,需要内置hive的jar相关内容
paimon0.9.0Maven官方下载
jdk1.8.0_41
maven3.9.6固定版本

2、停止服务、清理日志

3、格式化Hadoop并启动 

4、启动spark 

5、启动Hive服务 

 6、Hdfs上创建存储目录

7、启动spark-sql 

8、使用paimon创建数据库、数据表

 

9、插入数据

 10、在hive中查看数据

使用show databases;   show tables 相关命令可以查询数据库和表

 使用select在hive中查询数据

 11、HDFS上查看数据存储

系统进程,通过jps -l查看

举报

相关推荐

0 条评论