0
点赞
收藏
分享

微信扫一扫

0659-6.2.0-Hive处理JSON格式数据

墨香子儿 2022-09-08 阅读 101

作者:余枫


1

文档编写目的


在使用Hive处理数据的过程中会遇到各种各样的数据源,其中较为常见的是JSON格式的数据,Hive无法直接处理JSON格式的数据,需要依赖于JSONSerDe。SerDe即序列化和反序列化,JSONSerDe基本思想是使用json.org的JSON库,使用这个库可以读取一行数据并解析为JSONObject,然后解析到Hive中的数据行。因此JSON文件的每行必须是一个完整的JSON,一个JSON不能跨越多行。本文档介绍的是JsonSerDe,该库的地址为:https://github.com/rcongiu/Hive-JSON-Serde。它的特点如下:

  • 能够读取JSON格式的数据
  • 支持JSON数组和Map
  • 支持嵌套数据结构
  • 支持CDH
  • 支持多个版本的Hadoop

下面会进行一些JSON数据的读取测试,介绍如何使用Hive来处理JSON格式的数据。


  • 操作系统RedHat7.2
  • CM和CDH版本为6.2
  • 使用root用户进行操作
  • 集群正常运行


2

操作过程


1.准备json格式的数据文件如下:


0659-6.2.0-Hive处理JSON格式数据_json


2.将文件上传到HDFS


0659-6.2.0-Hive处理JSON格式数据_数据_02


3.下载json-serde包,下载地址如下:


http://www.congiu.net/hive-json-serde/1.3.7/cdh5/json-serde-1.3.7-jar-with-dependencies.jar


0659-6.2.0-Hive处理JSON格式数据_json_03


4.将下载好的包移动HiveServer2所在节点的hive服务的auxlib目录下


0659-6.2.0-Hive处理JSON格式数据_hive_04


5.在Hive中建外部表


create external table test_json_data (
reportID string,
reportCreditBasicList array<struct<Col1:string>>
)
row format serde 'org.openx.data.jsonserde.JsonSerDe'
stored as textfile
location '/user/hive/json_data';


0659-6.2.0-Hive处理JSON格式数据_数据_05


6.执行select操作


select * from test_json_data;


0659-6.2.0-Hive处理JSON格式数据_数据_06


select b.basiclist.Col1 from test_json_data t LATERAL VIEW explode(t.reportCreditBasicList) b as basiclist;


0659-6.2.0-Hive处理JSON格式数据_json_07

0659-6.2.0-Hive处理JSON格式数据_json_08


select count(*) from test_json_data


0659-6.2.0-Hive处理JSON格式数据_hive_09

0659-6.2.0-Hive处理JSON格式数据_hive_10


3

其他功能验证

3.1

查询复杂字段


1. 准备测试的JSON文件


0659-6.2.0-Hive处理JSON格式数据_json_11


2. 建表


CREATE TABLE test1 (
one boolean,
three array<string>,
two double,
four string )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;


0659-6.2.0-Hive处理JSON格式数据_hive_12


3. 加载数据


LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test1;


0659-6.2.0-Hive处理JSON格式数据_json_13


4. 查看表中数组字段的某个元素


select three[1] from test;


0659-6.2.0-Hive处理JSON格式数据_数据_14

0659-6.2.0-Hive处理JSON格式数据_json_15


3.2

定义嵌套结构


1.准备测试数据


0659-6.2.0-Hive处理JSON格式数据_json_16


2.建表


CREATE TABLE test2 (
country string,
languages array<string>,
religions map<string,array<int>>)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
STORED AS TEXTFILE;


0659-6.2.0-Hive处理JSON格式数据_json_17


3.加载数据


LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test2


0659-6.2.0-Hive处理JSON格式数据_hive_18


4.查看数据


select * from test2;


0659-6.2.0-Hive处理JSON格式数据_json_19


select languages[0] from test2;


0659-6.2.0-Hive处理JSON格式数据_数据_20

0659-6.2.0-Hive处理JSON格式数据_json_21


select religions['catholic'][0] from test2;


0659-6.2.0-Hive处理JSON格式数据_数据_22

0659-6.2.0-Hive处理JSON格式数据_hive_23


3.3

导入格式错误的数据


1.准备错误格式的JSON数据,中间少了个冒号


0659-6.2.0-Hive处理JSON格式数据_数据_24


2.导入数据


0659-6.2.0-Hive处理JSON格式数据_数据_25


导入数据成功


3.查询数据


0659-6.2.0-Hive处理JSON格式数据_hive_26


格式不对,报错了


4.忽略掉格式错误的数据


ALTER TABLE test2 SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");


0659-6.2.0-Hive处理JSON格式数据_json_27


5.再次查询该表


0659-6.2.0-Hive处理JSON格式数据_hive_28


错误的数据会被空行替代


3.4

映射Hive关键字


有时候,JSON数据中的有Hive的关键字。例如,可能JSON中有一个timestamp的JSON属性,这样的话创建表失败。此SerDek可以使用属性将Hive关键字映射为其他名称的属性。


1.测试数据如下:


0659-6.2.0-Hive处理JSON格式数据_json_29


2.建表


CREATE TABLE test3 (
myfield string, ts string
) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" )
STORED AS TEXTFILE;


0659-6.2.0-Hive处理JSON格式数据_数据_30


建表成功


3.导入数据并查看


LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test3


0659-6.2.0-Hive处理JSON格式数据_hive_31


查看数据


0659-6.2.0-Hive处理JSON格式数据_hive_32


数据导入成功,与Hive关键字冲突的字段被映射为ts字段,且成功导入了JSON数据中的timestamp属性。


4

测试Apache自带的JsonSerDe

4.1

测试嵌套结构


1.准备测试数据


0659-6.2.0-Hive处理JSON格式数据_hive_33


2.建表并导入数据


CREATE TABLE test1 (
one boolean,
three array<string>,
two double,
four string )
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;


0659-6.2.0-Hive处理JSON格式数据_数据_34

0659-6.2.0-Hive处理JSON格式数据_数据_35


3.查看数据


select three[1] from test1;


0659-6.2.0-Hive处理JSON格式数据_数据_36

0659-6.2.0-Hive处理JSON格式数据_hive_37


4.2

测试导入错误的数据


1.准备测试数据


0659-6.2.0-Hive处理JSON格式数据_hive_38


2.向5.1建的表test1中导入错误的数据并查看


0659-6.2.0-Hive处理JSON格式数据_json_39


使用与4.3中测试时一样的语句对表结构进行修改


ALTER TABLE test1 SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");


0659-6.2.0-Hive处理JSON格式数据_数据_40


3.再次查询


0659-6.2.0-Hive处理JSON格式数据_数据_41


可以看到依旧报错,Apache自带的JsonSerDe无法忽略错误格式的JSON数据


4.3

映射Hive关键字


1.准备测试数据


0659-6.2.0-Hive处理JSON格式数据_数据_42


2.建表并导入数据


CREATE TABLE test2 (
myfield string,
ts string)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" )
STORED AS TEXTFILE;


0659-6.2.0-Hive处理JSON格式数据_hive_43

0659-6.2.0-Hive处理JSON格式数据_json_44


3.查看数据


0659-6.2.0-Hive处理JSON格式数据_数据_45


由上图可以看出,字段映射失败,Apache自带的JsonSerDe不支持这种方式。


5

总结


1.Hive处理JSON格式数据本身不支持,需要SerDe即序列化与反序列化来实现JSON数据到Hive中行数据的转换,简单的JSON数据处理Hive自带的JsonSerDe和本文档介绍的JsonSerDe都可以做到。


2.本文档介绍的JsonSerDe与Hive自带的JsonSerDe相比,有更多的功能:

    a.在导入的数据中有错误格式的数据时,可以通过设置属性ignore.malformed.json" = "true",忽略错误的数据,用空行来替代,避免了查询过程中Hive会报格式错误导致查询失败。

    b.在JSON数据中有Hive关键字时,可以通过将关键字映射到Hive的其他字段来正常的对JSON数据进行查询,例如"mapping.ts" = "timestamp",将JSON中的字段timestamp映射为Hive中建表时定义的字段ts。


3.在与Apache自带的JsonSerDe比较中,首先使用方式上本文档介绍的JsonSerDe在Hive中建表时的方式是create table xxx(col1 string,col2 string)

ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe',而Apache自带的JsonSerDe在Hive中建表时的方式是create table xxx(...)

ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe',Apache自带的JsonSerDe这个类在hive-hcatalog-core-2.1.1.jar中,这个包在CDH的目录/opt/cloudera/parcels/CDH/lib/hive-hcatalog/share/hcatalog/下,在建表时可以直接使用;在功能上经过测试Apache自带的JsonSerDe在碰到某个错误的JSON数据时查询会报错,但是在大量的JSON数据中难免会有一些错误的数据,对于这个问题,就无法使用Apache自带的JsonSerDe,使用文档中介绍的JsonSerDe可以跳过错误的JSON数据,以空来显示,但是不会让整个查询中断,还有一点就是文档中进行测试过的关键字映射,在Apache自带的JsonSerDe中也不支持,功能相对简陋一些。




举报

相关推荐

0 条评论