首页 > 其他 > 详细

awk删除重复文件

时间:2019-03-15 13:18:24      阅读:143      评论:0      收藏:0      [点我收藏+]

#!/bin/bash

#查找并删除重复文件,每个文件只保留1份

ls -LS --time-style=long-iso | awk ‘BEGIN {

getline; getline;

name1=$8; size=$5

}

{

name2=$8

if(size==$5)

{

"md5sum "name1| getline;csum1=$1;

"md5sum "name2 | getline; csum2=$1;

if ( csum1==csum2 )

{

print name1; print name2

}

};

size=$5;name1=name2;

}‘ | sort -u > duplicate_files

 

cat duplicate_files | xargs -I {} md5sum {} | \

sort | uniq -w 32 | awk ‘{ print $2 }‘ | \

sort -u > unique_files

 

echo Removing..

comm duplicate_files unique_files -3 | tee /dev/stderr | \

xargs rm

echo Removed duplicates files successfully.

 

脚本执行: bash 文件

chmod 755 文件

$ ./文件

awk删除重复文件

原文:https://www.cnblogs.com/zhg1016/p/10536261.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!