首页 > 编程语言 > 详细

使用多线程压缩提高全量索引切换速度

时间:2014-03-30 08:49:56      阅读:570      评论:0      收藏:0      [点我收藏+]

目前全量索引约22G,花费约1个小时的时间,indexer做完之后放在ftp,searcher同时下载,下载完成之后切换索引,切换索引本身只花费1分钟左右的warmup时间,但下载由于机房带宽总共250M的限制(12台searcher),需要大约20分钟的时间。使用gzip对索引压缩就要花费22分钟时间,而使用ftp z mode压缩,本身也是调用单线程zlib,不会比22分钟更快。看到一个smp时代的压缩工具--pigz(http://www.zlib.net/pigz),感觉比较靠谱,可以看到20个线程,大约2-3分钟就完成压缩,searcher端单线程下载,解压就可以满足要求了。

使用多线程压缩提高全量索引切换速度,布布扣,bubuko.com

使用多线程压缩提高全量索引切换速度

原文:http://blog.csdn.net/jollyjumper/article/details/22539655

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!