1、基础环境
组件 | 版本 | 备注 |
hadoop | 3.4.0 | 官方下载 |
hive | 3.1.3 | 自编译 |
spark | spark-3.5.3-bin-hadoop3 | 官方下载,需要内置hive的jar相关内容 |
paimon | 0.9.0 | Maven官方下载 |
jdk | 1.8.0_41 | |
maven | 3.9.6 | 固定版本 |
2、停止服务、清理日志
3、格式化Hadoop并启动
4、启动spark
5、启动Hive服务
6、Hdfs上创建存储目录
7、启动spark-sql
8、使用paimon创建数据库、数据表
9、插入数据
10、在hive中查看数据
使用show databases; show tables 相关命令可以查询数据库和表
使用select在hive中查询数据
11、HDFS上查看数据存储
系统进程,通过jps -l查看