0
点赞
收藏
分享

微信扫一扫

【TPC-DS】处理数据的脚本

独兜曲 2022-08-23 阅读 73

用途:tpc-ds利用dbgen生成的数据,有些数据中有| |,之间是没有数据的,若直接导入到创建的表中,会提示失败,因此,在写入数据前,要先对生成的数据进行处理

处理数据脚本存放的目录(可以自定义的存放,按照自己存放的目录,要修改脚本),此时我将处理数据的脚本与生成的数据放在了同一目录下

【TPC-DS】处理数据的脚本_字段

 

 

脚本内容如下DATA_DIR=/home/minio/data/tpc-ds/tpc-ds-tool/test_dat #【重要】根据自己存放脚本的目录修改

# 用0来替换第一个字段的NULL值,把^|替换成0|
# 用0来替换中间字段的NULL值, 把||替换成|0|
# 用0来替换最后一个字段的NULL值,把|$替换成|0
for s_f in `ls *dat`
do
echo "$s_f"
i=1
while [ `egrep '\|\||^\||\|$' $s_f |wc -l` -gt 0 ]
do
echo $i
sed 's/^|/0|/g;s/||/|0|/g;s/|$/|0/g' -i $s_f
((i++))
done
done


#把date字段的0值替换成 0000-00-00
for s_f in #【重要】如果脚本没有和生成的数据放在同一个目录下,此处要添加数据存放的路径
#for s_f in $DATA_DIR/item.dat $DATA_DIR/store.dat $DATA_DIR/web_page.dat $DATA_DIR/web_site.dat $DATA_DIR/call_center.dat
do
# 处理第一、第二个date都是NULL的
sed 's/^\([A-Za-z0-9]*|[A-Za-z0-9]*\)|0|0|\(.*\)/\1|0000-00-00|0000-00-00|\2/' -i $s_f

# 处理第二个date是NULL的
sed 's/^\([0-9A-Za-z]*|[A-Za-z0-9]*|[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}\)|0|\(.*\)/\1|0000-00-00|\2/' -i $s_f

# 处理第一个date是NULL的
sed 's/^\([0-9A-Za-z]*|[A-Za-z0-9]*\)|0|\([0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}|.*\)/\1|0000-00-00|\2/' -i $s_f

done

 

 

     1.作者:Syw

2,本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

3.如果文中有什么错误,欢迎指出。以免更多的人被误导。




举报

相关推荐

0 条评论