目录
在application.properties或application.yml文件中配置Hive JDBC连接属性,例如:
在application.properties或application.yml文件中配置MyBatis属性,例如:
在Spring Boot的配置类中,使用@MapperScan注解注册Mapper接口,然后调用对应方法 例如:
前言:
Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop的分布式文件系统上,并提供类SQL查询的功能。以下是Hive的一些基本概念:
- 数据库(Database)
- Hive中的数据库类似于关系型数据库中的数据库,用于存储表和其他元数据。每个数据库都有一个唯一的名称,可以通过USE语句来切换数据库。
- 表(Table)
- Hive中的表类似于关系型数据库中的表,用于存储数据。每个表都有一个唯一的名称和一组列定义,可以通过CREATE TABLE语句来创建表。
- 分区(Partition)
- Hive中的分区是指将表按照某个列的值进行划分,每个分区对应一个子目录,用于存储该分区的数据。分区可以提高查询效率,可以通过ALTER TABLE语句来添加、删除和修改分区。
- 存储格式(Storage Format)
- Hive中的存储格式指数据在Hadoop分布式文件系统上的存储方式,常见的存储格式包括文本格式、序列化格式、列式存储格式等。可以通过CREATE TABLE语句的STORED AS子句来指定存储格式。
- 数据类型(Data Type)
- Hive中支持的数据类型包括基本数据类型、复合数据类型和集合数据类型等。常见的数据类型包括INT、BIGINT、STRING、BOOLEAN、ARRAY、MAP等。
- 查询语句(Query)
- Hive中的查询语句类似于SQL语句,可以使用SELECT、FROM、WHERE、GROUP BY、ORDER BY等关键字进行查询。Hive支持类SQL查询语句的语法,但是与SQL语言有一些差异,例如Hive中不支持UPDATE和DELETE语句。
Hive的一些基本概念:
Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop的分布式文件系统上,并提供类SQL查询的功能。以下是Hive的一些基本概念:
数据库(Database)
- Hive中的数据库类似于关系型数据库中的数据库,用于存储表和其他元数据。每个数据库都有一个唯一的名称,可以通过USE语句来切换数据库。Hive中的数据库并不是物理上的存储结构,而是一种逻辑上的组织方式。在Hive中,每个数据库都对应一个目录,该目录下存储了该数据库中的所有表和其他元数据。
服务器创建hive数据库指令:
在Hive中,可以通过CREATE DATABASE语句来创建数据库,例如:
CREATE DATABASE mydb;
在创建数据库时,可以指定数据库的名称和数据库的位置,例如:
CREATE DATABASE mydb LOCATION '/user/hive/mydb';
在Hive中,可以通过SHOW DATABASES语句来查看所有的数据库,例如:
SHOW DATABASES;
在Hive中,可以通过USE语句来切换数据库,例如:
USE mydb;
在切换数据库后,可以通过SHOW TABLES语句来查看该数据库中的所有表,例如:
SHOW TABLES;
DROP DATABASE mydb; 删除数据库;,删除数据库时会同时删除该数据库中的所有表和其他元数据,因此需要谨慎操作。
Spring Boot中集成Hive数据库
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>3.1.2</version>
</dependency>
在application.properties或application.yml文件中配置Hive JDBC连接属性,例如:
spring.datasource.url=jdbc:hive2://localhost:10000/default
spring.datasource.driver-class-name=org.apache.hive.jdbc.HiveDriver
spring.datasource.username=username
spring.datasource.password=password
在application.properties或application.yml文件中配置MyBatis属性,例如:
创建Mapper接口和映射文件,例如:
在Spring Boot的配置类中,使用@MapperScan注解注册Mapper接口,然后调用对应方法 例如:
Hive数据库在服务器配置事项:
用MySQL来存储Hive元数据时,需要进行以下配置
- 安装MySQL
- 创建Hive元数据数据库
- 首先需要安装MySQL数据库,可以从MySQL官网下载安装包,也可以使用Linux发行版自带的MySQL软件包。
在hive-site.xml文件中,需要配置以下属性:
在终端中输入hive命令,启动Hive服务,例如:
启动成功后,就可以使用Hive的命令行界面来创建数据库、表等对象了。 然后就可以用上面服务器创建hive数据库指令: