Parquet格式表重命名列名后Hive查询列数据显示NULL异常分析

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github：https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.问题描述

使用Hive创建的Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。

2.问题复现

测试环境：

• CM和CDH版本为5.13.1
• Impala版本为2.10.0
• Hive版本为1.1.0

1.使用如下建表语句创建一个parquet格式的表

create table test_parquet(
  id int,
  name String
)
stored as parquet;

（可左右滑动）

2.向表中插入测试数据

insert into test_parquet values(1,'fayson'),(2,'fayson2'),(3,'fayson3');

（可左右滑动）

3.执行如下SQL修改test_parquet表的name列名为new_name

alter table test_parquet change name new_name string;

（可左右滑动）

在使用Impala执行查询时，被修改的列的数据正常显示。

4.使用Hive查询test_parquet表数据

通过如上操作问题复现。

3.解决方法

有两种解决方法，临时生效的方式或永久生效的方式：

1.在Hive的当前会话设置parquet.column.index.access=true属性

set parquet.column.index.access=true;

（可左右滑动）

通过在当前Hive的会话设置paruqet.column.index.access=true，查询结果正常。

2.通过修改表的属性方式，执行如下SQL

ALTER TABLE test_parquet SET TBLPROPERTIES ('parquet.column.index.access'='true');

（可左右滑动）

test_parquet表的数据正常显示

4.总结

• 在Impala中parquet.column.access.index默认为true，但在Hive中该属性默认为False，所以需要在当前会话设置该属性为true或在建表属性中增加该属性为true
• 创建Parquet格式的外部表和内部表在修改列名成后均会出现该问题。

参考：

​​https://issues.apache.org/jira/browse/HIVE-6938​​

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操