首页 > 其他 > 详细

For循环中不可以嵌套RDD操作

时间:2017-02-08 20:17:28      阅读:1114      评论:0      收藏:0      [点我收藏+]

今天犯了一个致命理解错误,Spark中的RDD Map操作只是一个计算式的传递,并不是Action,也就是在for循环中不会产生真正的计算。

 

因此,如果for循环中出现了RDD的Map类似操作,都会引起异常,例如栈溢出等等,属于相互引用错误。

 

把我的错误代码贴在下面,加深理解。

 

        List<String> list = new ArrayList<>();
        list.add("OK1");

        JavaRDD<String> temp = jsc.parallelize(list);
        for (int i=0; i<num; i++) {
            for (int j=i+1; j<num; j++) {
                List<String> list2 = new ArrayList<>();
                list2.add("OK2");
                temp = temp.union(jsc.parallelize(list2));
            }
        }
        List<String> list3 = temp.collect();

  

For循环中不可以嵌套RDD操作

原文:http://www.cnblogs.com/shixiangwan/p/6379710.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!