首页 > 其他 > 详细

将本地文件复制到复制到Hadoop文件系统

时间:2015-02-22 23:07:16      阅读:471      评论:0      收藏:0      [点我收藏+]
//将本地文件复制到复制到Hadoop文件系统
//目前,其他Hadoop文件系统写入文件时均不调用progress()方法。
package com;


import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;


public class FileCopyWithProgress {
public static void main(String[] args) throws Exception{
String localSrc = args[0];
String dst = args[1];
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
OutputStream out = fs.create(new Path(dst), new Progressable(){
public void progress(){
System.out.println(".");
}
});

IOUtils.copyBytes(in, out, 4096, true);

}
}

将本地文件复制到复制到Hadoop文件系统

原文:http://blog.csdn.net/u012965373/article/details/43909775

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!