首页 > 其他 > 详细

spark持久化

时间:2018-08-31 22:12:26      阅读:176      评论:0      收藏:0      [点我收藏+]

 

package com.wll;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
public class Persist {
    static SparkConf conf=new SparkConf().setMaster("local").setAppName("persist");
    static JavaSparkContext sc=new JavaSparkContext(conf);
    public static void main(String[] args){
        noCache();
        //cache();
    }
    public static void noCache(){

        JavaRDD<String> list=sc.textFile("C:\\Users\\wanglonglong\\Desktop\\hive-default.xml");
        long beginTime=System.currentTimeMillis();
        long count=list.count();
        System.out.println("无持久化第一次"+(System.currentTimeMillis()-beginTime));

        beginTime=System.currentTimeMillis();
        count=list.count();
        System.out.println("无持久化第二次"+(System.currentTimeMillis()-beginTime));
    }
    public static void cache(){
        JavaRDD<String> list=sc.textFile("C:\\Users\\wanglonglong\\Desktop\\hive-default.xml").cache();
        long beginTime=System.currentTimeMillis();
        long count=list.count();
        System.out.println("持久化第一次"+(System.currentTimeMillis()-beginTime));

        beginTime=System.currentTimeMillis();
        count=list.count();
        System.out.println("持久化第二次"+(System.currentTimeMillis()-beginTime));
    }
}

spark持久化

原文:https://www.cnblogs.com/wakerwang/p/9568440.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!