首页 > 其他 > 详细

spark架构设计&编程模型 02

时间:2015-01-16 19:08:09      阅读:295      评论:0      收藏:0      [点我收藏+]

启动spark-shell:

技术分享

技术分享

简单的RDD:

技术分享

上述代码中使用的sc,这是Spark-Shell帮助我们自动生成的SparkContext的实例:

技术分享

我们把生成的RDD的每个元素都乘以3:

技术分享

上述的操作都是transformations我们需要触发一个action才能执行:

技术分享

技术分享

我们可以看到预期结果,但我们可以看到collect操作返回的是一个Array,所以数据不要太多,否则会出现OOM

下面执行下filter操作:

技术分享

技术分享

技术分享

真的spark编程应该是完全函数式的,我们把上述操作用一行代码搞定:

技术分享

技术分享


spark架构设计&编程模型 02

原文:http://blog.csdn.net/stark_summer/article/details/42780169

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!