首页 > 系统服务 > 详细

shell awk实现删除hdfs上某日期之前的文件

时间:2020-06-30 20:15:05      阅读:170      评论:0      收藏:0      [点我收藏+]
hadoop fs -ls /user/zhang  查看hdfs上的文件,awk $6是日期, $8是文件路径
#shell脚本
data=$(hadoop fs -ls /user/zhang/data | awk {print $8})
data_arr=(${data// / })
for sub_file in ${data_arr[@]}
do
    old_files=$(hadoop fs -ls $sub_file | awk BEGIN{ twenty_days_ago=strftime("%F", systime()-20*24*3600) }{ if($6<twenty_days_ago){printf "%s\n", $8} }
    )
    arr=(${old_files// / })
    for oldfile in ${arr[@]}
    do
        hadoop dfs -rm -r $oldfile
    done
done

#如是集群
把hadoop替换为hadoop --cluster z-hadoop
z-hadoop是我的集群的名字
systime() 系统当前日期的秒数
strftime 返回的是2020-06-30
24*3600 一天的秒数

参考:https://www.cnblogs.com/yankang/p/9773996.html

shell awk实现删除hdfs上某日期之前的文件

原文:https://www.cnblogs.com/v5captain/p/13215303.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!