首页 > 其他 > 详细

Linux下删除大量文件

时间:2014-02-01 13:53:20      阅读:591      评论:0      收藏:0      [点我收藏+]

主要参考了http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

首先建立50万个文件

bubuko.com,布布扣
?  test  for i in $(seq 1 500000)
for> do
for> echo test >>$i.txt
for> done
bubuko.com,布布扣

看下rm表现:

bubuko.com,布布扣
?  test  time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f *  3.63s user 0.29s system 98% cpu 3.985 total
bubuko.com,布布扣

由于文件数量过多,rm不起作用。

看下find表现:

bubuko.com,布布扣
?  test  time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \;  49.86s user 1032.13s system 41% cpu 43:19.17 total
bubuko.com,布布扣

大概43分钟,我的电脑。。。。。。边看视频边删的。

用下find的-delete选项:

bubuko.com,布布扣
?  test  time find ./ -type f -delete       
find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total
bubuko.com,布布扣

用时9分钟。

再看下rsync,先建一个空文件夹blanktest

bubuko.com,布布扣
?  ~  time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total
bubuko.com,布布扣

16s,很好很强大。

用Python试了下

bubuko.com,布布扣
  1 import os
  2 import time
  3 stime=time.time()
  4 for pathname,dirnames,filenames in os.walk(/home/username/test):
  5     for filename in filenames:
  6         file=os.path.join(pathname,filename)
  7         os.remove(file)
  8 ftime=time.time()
  9 print ftime-stime
~                       
bubuko.com,布布扣
?  ~  python test.py
494.272291183

大概用时8分钟。

用Perl:

bubuko.com,布布扣
?  test  time perl -e for(<*>){((stat)[9]<(unlink))}
perl -e for(<*>){((stat)[9]<(unlink))}  1.28s user 7.23s system 50% cpu 16.784 total
bubuko.com,布布扣

16s,这个应该最快了。

统计一下:

 命令 耗费时间
rm  文件数量太多,不可用
find with -exec 50万文件耗时43分钟
find with -delete 9分钟
Perl 16s
Python 8分钟
rsync with -delete 16s

Linux下删除大量文件

原文:http://www.cnblogs.com/linxiyue/p/3536925.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!