0
点赞
收藏
分享

微信扫一扫

2022 年第十二届 MathorCup 高校数学建模挑战赛D题思路

玩物励志老乐 2023-06-19 阅读 92

目录

前言: 

Hive的一些基本概念:

数据库(Database)

服务器创建hive数据库指令:

Spring Boot中集成Hive数据库

在application.properties或application.yml文件中配置Hive JDBC连接属性,例如:

在application.properties或application.yml文件中配置MyBatis属性,例如:

创建Mapper接口和映射文件,例如:

在Spring Boot的配置类中,使用@MapperScan注解注册Mapper接口,然后调用对应方法 例如:

Hive数据库在服务器配置事项:

在hive-site.xml文件中,需要配置以下属性:


前言: 

Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop的分布式文件系统上,并提供类SQL查询的功能。以下是Hive的一些基本概念:

  1. 数据库(Database)
  2. Hive中的数据库类似于关系型数据库中的数据库,用于存储表和其他元数据。每个数据库都有一个唯一的名称,可以通过USE语句来切换数据库。
  3. 表(Table)
  4. Hive中的表类似于关系型数据库中的表,用于存储数据。每个表都有一个唯一的名称和一组列定义,可以通过CREATE TABLE语句来创建表。
  5. 分区(Partition)
  6. Hive中的分区是指将表按照某个列的值进行划分,每个分区对应一个子目录,用于存储该分区的数据。分区可以提高查询效率,可以通过ALTER TABLE语句来添加、删除和修改分区。
  7. 存储格式(Storage Format)
  8. Hive中的存储格式指数据在Hadoop分布式文件系统上的存储方式,常见的存储格式包括文本格式、序列化格式、列式存储格式等。可以通过CREATE TABLE语句的STORED AS子句来指定存储格式。
  9. 数据类型(Data Type)
  10. Hive中支持的数据类型包括基本数据类型、复合数据类型和集合数据类型等。常见的数据类型包括INT、BIGINT、STRING、BOOLEAN、ARRAY、MAP等。
  11. 查询语句(Query)
  12. Hive中的查询语句类似于SQL语句,可以使用SELECT、FROM、WHERE、GROUP BY、ORDER BY等关键字进行查询。Hive支持类SQL查询语句的语法,但是与SQL语言有一些差异,例如Hive中不支持UPDATE和DELETE语句。

Hive的一些基本概念:

Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop的分布式文件系统上,并提供类SQL查询的功能。以下是Hive的一些基本概念:

数据库(Database)

  • Hive中的数据库类似于关系型数据库中的数据库,用于存储表和其他元数据。每个数据库都有一个唯一的名称,可以通过USE语句来切换数据库。Hive中的数据库并不是物理上的存储结构,而是一种逻辑上的组织方式。在Hive中,每个数据库都对应一个目录,该目录下存储了该数据库中的所有表和其他元数据。

服务器创建hive数据库指令:

在Hive中,可以通过CREATE DATABASE语句来创建数据库,例如:


CREATE DATABASE mydb;
在创建数据库时,可以指定数据库的名称和数据库的位置,例如:


CREATE DATABASE mydb LOCATION '/user/hive/mydb';
在Hive中,可以通过SHOW DATABASES语句来查看所有的数据库,例如:


SHOW DATABASES;

在Hive中,可以通过USE语句来切换数据库,例如:


USE mydb;
在切换数据库后,可以通过SHOW TABLES语句来查看该数据库中的所有表,例如:

SHOW TABLES;

DROP DATABASE mydb;  删除数据库;,删除数据库时会同时删除该数据库中的所有表和其他元数据,因此需要谨慎操作。

Spring Boot中集成Hive数据库

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>3.1.2</version>
</dependency>

在application.properties或application.yml文件中配置Hive JDBC连接属性,例如:

spring.datasource.url=jdbc:hive2://localhost:10000/default
spring.datasource.driver-class-name=org.apache.hive.jdbc.HiveDriver
spring.datasource.username=username
spring.datasource.password=password

在application.properties或application.yml文件中配置MyBatis属性,例如:

创建Mapper接口和映射文件,例如:

在Spring Boot的配置类中,使用@MapperScan注解注册Mapper接口,然后调用对应方法 例如:

Hive数据库在服务器配置事项:

用MySQL来存储Hive元数据时,需要进行以下配置

  • 安装MySQL 
  • 创建Hive元数据数据库 
  1. 首先需要安装MySQL数据库,可以从MySQL官网下载安装包,也可以使用Linux发行版自带的MySQL软件包。

在hive-site.xml文件中,需要配置以下属性:

 

在终端中输入hive命令,启动Hive服务,例如:

启动成功后,就可以使用Hive的命令行界面来创建数据库、表等对象了。 然后就可以用上面服务器创建hive数据库指令:

 

 

 

举报

相关推荐

0 条评论