Hive 动态分区实现hive partition分区中带日期变量功能

1、我们发现当我们想要实现每天将数据写入表的当前或T-1的日期分区的时候

用:

insert overwrite table tab_name parition(dt=${current_date})

select * from xxxx;

的时候，${current_date}死活没有办法还原成具体日期，所以我们可以通过变通的办法来实现，那就是使用Hive的动态分区功能：

步骤：sql

         一、建好所需分区表函数

         二、设置分区参数spa

set hive.exec.dynamic.partition=true;(可经过这个语句查看：set hive.exec.dynamic.partition;) 
set hive.exec.dynamic.partition.mode=nonstrict; 
SET hive.exec.max.dynamic.partitions=100000;(若是自动分区数大于这个参数，将会报错)
SET hive.exec.max.dynamic.partitions.pernode=100000;

2、书写代码（特别注意：日期字段必定要放在末尾），例如：code

INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt)
select id        
       ,...
       ,pv
       ,0  uv
       ,cal_dt
from   dw_stage.tiny_info_msg

3、若是要在partition字段用函数处理也可经过经过这种方式实现；例如：it

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrick;
INSERT OVERWRITE TABLE dw_stage.ds_info_msg partition(cal_dt)
SELECT id    
       ,...
       ,pv
       ,date_sub('2014-03-23',7) cal_dt
FROM   dw_stage.tiny_info_msg07;