0
点赞
收藏
分享

微信扫一扫

0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析

作者:唐辉


1

文档编写目的


Fayson在CDH5.16.1中对Kudu表使用alter table ... change ...更改kudu表的列名后,用 COMPUTE INCREMENTAL STATS 或者COMPUTE STATS 命令去统计表的信息时,会报字段不存在异常


  • 测试环境

1.CM和CDH版本为5.16.1

2.操作系统版本为RedHat 7.2


2

问题描述


首先创建一个Kudu 表,并插入两条数据用来测试


CREATE TABLE impala_kudu_test.mykudutest (
col1 INT NOT NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
s2 STRING NULL ENCODING AUTO_ENCODING COMPRESSION DEFAULT_COMPRESSION,
PRIMARY KEY (col1)
)
PARTITION BY HASH (col1) PARTITIONS 3 STORED AS KUDU TBLPROPERTIES ('kudu.master_addresses'='cdh3.macro.com:7051');
insert into mykudutest values (1,"test");
insert into mykudutest values (2,"test2");
select * from mykudutest;


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_h5

0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_字段_02


在没有进行修改列的情况下进行验证,可以正常执行和查看


COMPUTE INCREMENTAL STATS mykudutest;
COMPUTE STATS mykudutest;
show table stats mykudutest;


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_系统版本_03


当我们修改非主键字段后


ALTER TABLE testkudu CHANGE s2 sss3 string;
SELECT * FROM testkudu;


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_h5_04


再执行COMPUTE INCREMENTAL STATS 或者COMPUTE STATS就会出现如下异常


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_h5_05


3

解决办法


首先登陆到的Hive metastore DB(通常是Mysql数据库)


select c.* from COLUMNS_V2 c join TBLS t on t.TBL_ID = c.CD_ID join DBS d on d.DB_ID = t.DB_ID where TBL_NAME = 'mykudutest' and d.NAME = 'impala_kudu_test';


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_h5_06


然后用得到CD_ID,更新新列名 (sss3是我更改的新列名,最初列名为s2) 


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_字段_07


最后对这个表进行invalidate,再执行compute stats


invalidate metadata mykudutest;
compute stats mykudutest;


0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析_系统版本_08


4

总结


经验证,该问题在CDH5.16.1 中有,但是CDH 6.2以及CDH5.14上都没有这个问题,可能是一个regression过程中的一个错误bug。

举报

相关推荐

0 条评论