首页 > 其他 > 详细

perl对大量大文件进行读写

时间:2014-05-05 10:48:17      阅读:585      评论:0      收藏:0      [点我收藏+]

在对大量文件进行读写时,最好将文件存为gz文件,可以节约读写硬盘的时间,硬盘也不会那么卡。

在写gz文件时,最好使用PerlIO::gzip模块。这个模块不用调用gzip命令,减少了程序占用的线程数量,可以有效的降低load。

下面是一个例子。

bubuko.com,布布扣
#! /usr/bin/env perl
use strict;
use warnings;
use List::Util;
use FileHandle;
use PerlIO::gzip;

my %fh;

my @a=(1..100);
for(my $i=1;$i<=100;$i++){
    open $fh{$i}, ">:gzip", "x.$i.gz";
    #open ($fh{$i},"|gzip > x.$i.gz"); #此行是不推荐的写法
}

for(my $i=0;$i<1e9;$i++){
    my @b=List::Util::shuffle @a;
    my $x=$b[0];
    $fh{$x}->print("@b\n");
}

foreach my $i(keys %fh){
    close $fh{$i};
}
bubuko.com,布布扣

 

perl对大量大文件进行读写,布布扣,bubuko.com

perl对大量大文件进行读写

原文:http://www.cnblogs.com/yumtaoist/p/3707804.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!