0
点赞
收藏
分享

微信扫一扫

当Impala碰到由Hive生成的timestamp数据

鱼满舱 2022-09-08 阅读 205

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


Fayson的github:https://github.com/fayson/cdhproject


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



默认情况下,Impala不会使用本地时区存储timestamp,以避免因为时区问题导致的其他故障。无论是写入还是读取数据,或者通过诸如from_unixtime()unix_timestamp()之类的函数转换为Unix时间戳或者从Unix时间转换时。要将timestamp值转换为date或者time,我们一般使用from_utc_timestamp()来进行转换,但是对于Impala来说如果想转换为OS的本地时区,一般你还要带上时区参数比如CST,为了方便你也可以在Impala的配置中加上--use_local_tz_for_unix_timestamp_conversions=true。这一点我们在《​​Hive中的Timestamp类型日期与Impala中显示不一致分析​​​》和《​​Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)​​》文章中都进行过分析。


当带有timestamp的数据是由Hive生成的时候,并且数据文件格式为parquet的时候,Impala同样会碰到本地时区和UTC时区的问题,我们在《​​Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)​​》文章中也进行过简单说明,本文Fayson将着重演示具体会有什么坑,然后应该如何去跳过这个坑。


  • 内容概述:

1.问题重现

2.解决办法

3.总结


  • 测试环境:

1.操作系统:Redhat7.4

2.CDH5.12.1

3.采用root用户进行操作


2.问题重现



1.首选确认集群所有机器的时区


[root@cdh01 shell]# sh ssh_do_all.sh node.list "date"

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_unix


可以看到Fayson的集群里的所有机器都是CST时区,即中国时间。


2.我们在Impala中建立一张带有timestamp字段的表,并插入数据。


create table t1 (x timestamp);
insert into t1 values (current_timestamp()),(current_timestamp() + interval 1 day);
select * from t1;

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_字段_02


3.使用Hive分别基于这个表生成文本和parquet文件的另外一张表


create table p1 stored as parquet as select x from t1;
create table p1_text as select x from t1;
select * from t1;
select * from p1;
select * from p1_text;

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_hive_03

当Impala碰到由Hive生成的timestamp数据_字段_04


可以发现基于Hive查询无论是原表,生成的文本表,parquet表,timestamp字段的值都是一样的,与本地时区的时间一致。


4.在Impala中再进行查询


invalidate metadata;
select * from t1;
select * from p1;
select * from p1_text;

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_hive_05


可以发现当由Hive生成的带有timestamp的parquet文件时,查询的时间其实是不对的,Impala默认使用了UTC时区,比CST要慢8个小时,而没有使用本地OS的时区,中国时间。


3.解决办法



1.在Impala Daemon的命令行高级配置中增加以下配置


-convert_legacy_hive_parquet_utc_timestamps

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_unix_06


保存配置并重启Impala服务


当Impala碰到由Hive生成的timestamp数据_hive_07


2.重新登录Impala并进行查询


select * from t1;
select * from p1;
select * from p1_text;

(可左右滑动)


当Impala碰到由Hive生成的timestamp数据_unix_08


可以发现无论是基于原始数据,还是由Hive生成的文本文件,parquet文件表,结果查询都一直,与当时存进去的本地时区CST一致,均为中国时间。


4.总结



1.如果带有timestamp字段的表由Impala生成无论是文本文件还是parquet文件时,无论是由Hive查询还是Impala,均不会有时区的问题。


2.由Hive生成的带有timestamp字段的表,如果是文本格式的,无论是由Hive查询还是Impala,均不会有时区的问题。


3.由Hive生成的带有timestamp字段的表,如果是parquet格式的,由Hive查询不会有时区的问题,由Impala查询时,默认使用的是UTC时区,结果会不正确,假设你本地是中国时间,即CST时区,会慢8个小时。


4.如果碰到第3点的问题,你可以在Impala Daemon配置中增加-convert_legacy_hive_parquet_utc_timestamps,可以解决Impala的时区问题,让Impala在查询Hive的parquet表时,强制使用本地时区。


5.当你使用第4点解决Impala的时区问题时,还会有一个坑,即IMPALA-3316,参考:https://issues.apache.org/jira/browse/IMPALA-3316,这个坑到底是怎样的表现形式,然后如何规避,请持续关注Fayson。



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

当Impala碰到由Hive生成的timestamp数据_字段_09

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论