首页 > 其他 > 详细

spark复习笔记(4):RDD变换

时间:2018-11-01 23:20:41      阅读:168      评论:0      收藏:0      [点我收藏+]

一、RDD变换

  1.返回执行新的rdd的指针,在rdd之间创建依赖关系。每个rdd都有一个计算函数和指向父rdd的指针

  2.Spark是惰性的,因此除非调用某个转换或动作,否则不会执行任何操作,否则将触发工作创建和执行。

  3.map()是对每个元素进行变换,应用变换函数;而mapPartitions()是对每个分区进行应用变换,输入的是一个迭代器Iterator,返回的是一个新的迭代器,可以对整个分区进行函数的处理。

spark复习笔记(4):RDD变换

原文:https://www.cnblogs.com/bigdata-stone/p/9893140.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!