0
点赞
收藏
分享

微信扫一扫

HiveSQL 数据操控、查询语言（DML、DQL）

天蓝Sea 2022-03-30 阅读 71
hadoopbig datahivesql

HiveSQL 数据操控、查询语言（DML、DQL）

1 Load——加载数据

  • 将数据load加载到表中时，hive不会进行如何转换，加载操作是将数据文件移动到与Hive表对应的位置的纯复制/移动操作。

  • 语法

    LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)
    • filepath：表示代移动数据的路径，可以引用一个文件，也可以是一个目录
    • local：
      • 如果指定了local，load命令将在本地文件系统中查找文件路径。如果指定了相对路径，他将相当于用户的当前工作目录进行解释
      • 如果没有指定LOCAL关键字，如果filepath指向的是一个完整的URI，hive会直接使用这个URI。 否则如果没有指定schema或者authority，Hive会使用在hadoop配置文件中定义的schema 和 authority，即参数fs.default.name指定的（不出意外，都是HDFS）
      • **注意：**如果对HiveServer2服务运行此命令。这里的本地文件系统指的是HiveServer2服务所在机器的本地Linux文件系统，不是Hive客户端所在的本地文件系统
    • overwrite：如果使用了overwrite关键字，则目标表（或者分区）中的内容会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。

  • Hive3.0及更高版本中，除了移动复制操作之外，还支持其他加载操作，因为Hive在内部的某些场合下会将加载重写为insert as select

    • 如果表是具有分区，load命令中没有指定分区，则将load转换为insert as select ，并假定最后一组为分区列。如果文件不符合预期的架构，就会报错

2. insert——插入数据

  • insert + select：将查询结果插入到表中

    INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement;

INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
    • insert overwrite 将覆盖表或分区中的如何现有的数据
    • 需要保证查询结果列的数目和需要插入数据表格的列数目一致
    • 如果查询出来的数据类型和插入表格对应的数据类型不一致，将会进行转换，但是不能保证转换一定成功，转换失败的数据将会是NULL

  • multiple inserts：多次插入，核心是：一次扫描。多次插入。功能就是减少扫描的次数

  • dynamic partition insert：动态分区插入

    • 动态分区插入指的是：分区的值是由后续的select查询语句的结果来动态确定的，根据查询结果来自动分区

    • 配置参数

      set hive.exec.dynamic.partition = true;
set hive.exec.dynamic.partition.mode = nonstrict;

    • 动态插入语法例子

      -- 库下有一张student学生表
select * from student;

-- 注意：分区字段名不能和表中的字段名重复
create table student_partition(Sno int,Sname string,Sex string,Sage int) partitioned by(Sdept string);

-- 执行动态分区插入操作
insert into table student_partition partition(Sdept)
select Sno,Sname,Sex,Sage,Sdept from student;
-- 其中，Sno,Sname,Sex,Sage作为表的字段内容插入表中
-- Sdept作为分区字段值

  • insert + directory：支持将select查询的结果导出文件存放在文件系统中

    • 语法

      --标准语法:
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
    [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
SELECT ... FROM ...

--Hive extension (multiple inserts):
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...

--row_format
: DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]

    • 注意：导出操作是一个overwrite覆盖操作。慎用

    • 目录可以是完整的URI。如果未指定scheme或Authority，则Hive将使用hadoop配置变量fs.default.name中的方案和Authority，该变量指定Namenode URI。

    • 如果使用LOCAL关键字，则Hive会将数据写入本地文件系统上的目录。

    • 写入文件系统的数据被序列化为文本，列之间用^ A隔开，行之间用换行符隔开。如果任何列都不是原始类型，那么这些列将序列化为JSON格式。也可以在导出的时候指定分隔符换行符和文件格式。

3. update、delete更新、删除操作

  • update操作语法

    --1、开启事务配置（可以使用set设置当前session生效 也可以配置在hive-site.xml中）
set hive.support.concurrency = true; --Hive是否支持并发
set hive.enforce.bucketing = true; --从Hive2.0开始不再需要  是否开启分桶功能
set hive.exec.dynamic.partition.mode = nonstrict; --动态分区模式  非严格
set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; --
set hive.compactor.initiator.on = true; --是否在Metastore实例上运行启动压缩合并
set hive.compactor.worker.threads = 1; --在此metastore实例上运行多少个压缩程序工作线程。

--2、创建Hive事务表
create table trans_student(
                              id int,
                              name String,
                              age int
)clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='true');

--3、针对事务表进行insert update delete操作
insert into trans_student (id, name, age)
values (1,"allen",18);

select *
from trans_student;

update trans_student
set age = 20
where id = 1;

  • delete操作语法

    --1、开启事务配置（可以使用set设置当前session生效 也可以配置在hive-site.xml中）
set hive.support.concurrency = true; --Hive是否支持并发
set hive.enforce.bucketing = true; --从Hive2.0开始不再需要  是否开启分桶功能
set hive.exec.dynamic.partition.mode = nonstrict; --动态分区模式  非严格
set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; --
set hive.compactor.initiator.on = true; --是否在Metastore实例上运行启动压缩合并
set hive.compactor.worker.threads = 1; --在此metastore实例上运行多少个压缩程序工作线程。

--2、创建Hive事务表
create table trans_student(
                              id int,
                              name String,
                              age int
)clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='true');

--3、针对事务表进行insert update delete操作
insert into trans_student (id, name, age)
values (1,"allen",18);

select *
from trans_student;

delete from trans_student where id =1;

3. select——查询数据

  • select语法

    [WITH CommonTableExpression (, CommonTableExpression)*] 
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
  ]
 [LIMIT [offset,] rows]

    • 查询的输入可以是普通物理表，视图，join查询结果或子查询结果，表名和列明不区分大小

    • all 和 distinct ：选项指定是否返回重复的行。如果没有指定，则默认值为all（返回所有匹配的行）。distinct指定从结果集中删除重复的行

    • where：条件是一个bool表达式。在表达式中，你可以使用Hive支持的任何函数和运算符，但聚合函数除外。where子句支持某些类型的子查询

    • 分区裁剪：对分区表进行查询时，会检查where子句或join中的on子句中是否存在对分区字段的过滤，如果存在，则访问查询符合条件的分区，即裁剪掉没必要的分区

    • group by：根据一个或多个列对结果集进行分组。
      注意：出现在group by 中的字段，要么是group by 分组的字段，要么是被聚合函数应用的字段，避免出现一个字段多个值的歧义

    • having：可以让我们筛选分组后的各组数据，并且可以在having中使用聚合函数，因为此时where，group by已经执行结束，结果集已经确定

    • limit：用于约束select语句返回的行数。接受一个或两个函数，这两个函数都必须是非负数常量。

  • 高级查询

    • order by ：对输出的结果进行全局排序。默认排序顺序为升序（ASC），也可以指定为降序（DESC）

    • cluster by：根据同一个字段，分且排序。（不能指定排序规则）分为几组根据reduce task个数决定

    • distribute by + sort by ：将cluster by 功能一分为二，distribute by 负责分，sort by负责分组内排序，并且可以是不同的字段。

    • 总结：

      • order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间

      • sort by 不是全局排序，其在数据进入reduce前完成排序。因此，如果sort by进行排序，并且mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。

      • distribute by(字段)根据指定字段将数据分到不同的reducer，分发算法是hash散列。

      • Cluster by(字段) 除了具有Distribute by的功能外，还会对该字段进行排序。

        如果distribute和sort的字段是同一个时，此时，cluster by = distribute by + sort byimage-20220327203635082

  • Hive SQL查询执行顺序

    • from > join > where > group > having > order > select
    • 聚合语句要比having子句优先执行，而where子句在查询过程中执行级别优先聚合函数

4. union——联合查询

  • 用于将多个select语句的结果合并为一个结果集

  • 语法

    select_statement UNION [ALL | DISTINCT] select_statement UNION [ALL | DISTINCT] select_statement ...
    • 使用distinct关键字与只使用union默认值效果一样，都会删除重复行
    • 使用all关键字，不会删除重复行，结果集包括所有select语句的匹配行（包括重复行）
    • 注意：每个表返回的列的数量和名称必须相同

5. join——连接

  • 语法树

    join_table:
    table_reference [INNER] JOIN table_factor [join_condition]
  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
  | table_reference LEFT SEMI JOIN table_reference join_condition
  | table_reference CROSS JOIN table_reference [join_condition] (as of Hive 0.10)
    • table_reference：是join查询中使用的表名，也可以是子查询别名（查询结果当成表参与join）。
    • table_factor：与table_reference相同,是联接查询中使用的表名,也可以是子查询别名。
    • join_condition：join查询关联的条件， 如果在两个以上的表上需要连接，则使用AND关键字。

  • inner join

    • 内连接：只有两个表中都存在于连接条件相匹配的数据才会被留下来。其中inner可以省略，inner join = join

      image-20220327205325226

    • image-20220327205755752

  • left join

    • 左外连接：以左表的全数据为准，右边与之关联。左表数据全部返回，右表关联上的显示返回，关联不上的显示null返回

      image-20220327205709487

    • image-20220327205806349

  • right join

    • 右外连接：join时以右表的全部数据为准，左边与之关联；右表数据全部返回，左表关联上的显示返回，关联不上的显示null返回image-20220327205914238
    • image-20220327205929528

  • full outer join = full join

    • 全外连接：对这两个数据集合分别进行左外连接和右外连接，然后再使用消去重复行的操作将上述两个结果集合并为一个结果集。

      image-20220327210137518

    • image-20220327210212038

  • left semi join

    • 左半开连接：返回左边表的记录，前提是其记录对于右边表满足on语句中的判断条件。（有点像inner join之后只返回左表的结果）

  • cross join

    • 交叉连接：将会返回被连接的两个表的笛卡尔积，返回结果的行数等于两个表行数的乘机。对于大表来时，cross join慎用

  • join使用注意事项

    • 如果每个表在连接子句中使用相同的列，则hive将多个表上的连接转换为单个MR作业

      select a.val, b.val, c.val from a join b on (a.key = b.key1) join c on (c.key = b.key1)
--由于联接中仅涉及b的key1列，因此被转换为1个MR作业来执行
select a.val, b.val, c.val from a join b on (a.key = b.key1) join c on (c.key = b.key2)
--会转换为两个MR作业，因为在第一个连接条件中使用了b中的key1列，而在第二个连接条件中使用了b中的key2列。第一个map / reduce作业将a与b联接在一起，然后将结果与c联接到第二个map / reduce作业中。

    • join时的最后一个表会通过reduce流式传输，并在其缓冲之前的其他表，因此，将大表放置在最后有利于减少reduce阶段缓存数据所需要的内存

      SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)
--由于联接中仅涉及b的key1列，因此被转换为1个MR作业来执行，并且表a和b的键的特定值的值被缓冲在reducer的内存中。然后，对于从c中检索的每一行，将使用缓冲的行来计算联接。
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
--计算涉及两个MR作业。其中的第一个将a与b连接起来，并缓冲a的值，同时在reducer中流式传输b的值。
在第二个MR作业中，将缓冲第一个连接的结果，同时将c的值通过reducer流式传输。

6. CET——公用表表达式

  • 公用表达式是一个临时结果集，该结果集是从with子句中指定的简单查询派生而来的，该查询紧接在select 或 insert关键字之前

  • CET案例

    --选择语句中的CTE
with q1 as (select sno,sname,sage from student where sno = 95002)
select *
from q1;

-- from风格
with q1 as (select sno,sname,sage from student where sno = 95002)
from q1
select *;

-- chaining CTEs 链式
with q1 as ( select * from student where sno = 95002),
     q2 as ( select sno,sname,sage from q1)
select * from (select sno from q2) a;


-- union案例
with q1 as (select * from student where sno = 95002),
     q2 as (select * from student where sno = 95004)
select * from q1 union all select * from q2;

--视图，CTAS和插入语句中的CTE
-- insert
create table s1 like student;

with q1 as ( select * from student where sno = 95002)
from q1
insert overwrite table s1
select *;

select * from s1;

-- ctas
create table s2 as
with q1 as ( select * from student where sno = 95002)
select * from q1;

-- view
create view v1 as
with q1 as ( select * from student where sno = 95002)
select * from q1;

select * from v1;
举报

相关推荐

【Hive】4-HiveSQL 数据操控语言（DML）

jqueryajax前端

【Hive】5-HiveSQL 数据查询语言（DQL）

前端ajax笔记

SQL-DML、DQL查询数据

sql数据库java

Mysql-03-DML数据操作语言-DQL-基础查询

字符串列表javamysql表名系统/运维

SQL语言——DML与DQL

数据库开发

DQL( 数据查询语言)

spring boot数据库spring后端java

DQL数据查询语言

数据库mysql

DML和DQL语言学习

学习数据库sql

SQL——数据操纵语言DML（INSERT,UPDATE,DELETE）、数据查询语言DQL（SELECT）、操作符

表名数据删除表MySQL数据库yyds干货盘点

mysql数据查询DQL语言

mysql
0 条评论