HDFS常规操作

HDFS文件统计

1. 获取指定目录数据大小信息
   hdfs dfs -du /user/hive/warehouse/ods.db/ > db_du

2. 获取指定目录修改时间信息
   hdfs dfs -ls /user/hive/warehouse/udm.db/ > db_ls

3. 合并信息脚本
   #!/usr/bin/perl
   use strict;
   my %table_du = map{my @m = split /\s+/;$m[0],$m[1]} awk -F'[ /]' '{print tolower(\$NF),\$1}' db_du;
   my %table_ls = map{my @m = split /\s+/;$m[0],$m[1]} awk '{print tolower(\$NF),\$6}' db_ls|awk -F\/ '{print \$NF}';

for (keys %table_du){
print “${}_{|}$table_du{KaTeX parse error: Expected group after '_' at position 1: _̲}|table_ls{$_}\n”;
}

HDFS 过期文件清理

shell脚本
#!/bin/bash
#cleanup hive session dir on hdfs named with Specify the directory
usage=“Usage: hive-clean.sh [days]”

cleanup_dir="/tmp/hive/bduser"

echo “cleanup_dir on HDFS: $cleanup_dir”

if [ ! “$1” ]; then
echo $usage
exit 1
fi

now=$(date +%s)

hadoop fs -ls $cleanu{p}_{d}ir|grep{"}^d"|whilereadf;dodi{r}_{d}ate=$(echo $f | awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 6}̲') differen…((($now - $(date-d"$dir_date" +%s)) / (24 * 60 * 60)))

if [ $difference -gt $1 ]; then


    echo $f
    # 此处直接对上边的过滤结果进行删除，建议先改成 hadoop fs -ls -R 命令先进行测试，一切正常在改回删除
    hadoop fs -ls -R $(echo $f | awk '{ print $8 }')
    #hadoop fs -rm -r -skipTrash $(echo $f | awk '{ print $8 }')
fi

done

HDFS EC 存储冷数据

1. 查看原始数据量
   hdfs dfs -du -s -h /user/hive/warehouse/np.db/user_info

统计结果
2.2 G 6.5 G /user/hive/warehouse/np.db/np_user_info

2. 新表目录设置EC
   hdfs ec -setPolicy -policy RS-6-3-1024k -path /user/hive/warehouse/cold_data.db/np_user_info

3. 数据转移至新表

4. 查看新表数据量
   hdfs dfs -du -s -h /user/hive/warehouse/cold_data.db/np_user_info

统计结果
2.2 G 3.2 G /user/hive/warehouse/cold_data.db/np_user_info

HDFS datanode离线检测机制

检测机制
dfs.namenode.heartbeat.recheck-interval 默认300000 – 单位毫米 合计五分钟
dfs.heartbeat.interval - default: 3 seconds

如果使用默认值的话，当一台datanode的心跳消失30秒钟，namenode会认为这台datanode stale了。如果又过了10分钟（总共10.5分钟）还没有心跳，namenode会认定datanode死亡了。

timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
= 10min + 30second = 10min 30sec

https://www.cnblogs.com/sx66/p/12605059.html

CDH 设置 datanode离线 40分钟内不进行数据迁移和平衡
hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀）
dfs.namenode.heartbeat.recheck-interval
1200000
(即20分钟)，失联检测时间=2 * 20min + 10 * 3 = 40min30

HDFS 的 datanode失联检测。移动机器为了保证不进行数据移动平衡，设置如上，保证40分钟内不进行失联迁移数据操作