spark(二)：算子原理

 1.union

特点：

①、新的RDD，会将旧的两个RDD的partition原封不动的给挪过来。

② 、新的RDD的partition数量，是旧的partition数量之和。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2.groupByKey

 ①、一般来说，在执行groupByKey、reduceByKey、join等shuffle算子时，算子内部会隐式的创建RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。因为生成的RDD可能是和上一个RDD的shuffleDependency的。

 ②、依赖这个shuffleRDD创建一个新的stage（上图中的stage1），shuffleRDD会去触发shuffle read操作，从上游stage的task所在节点拉取过来相同的key，做进一步操作。

 ③、对这个shuffleRDD中的数据执行一个map类的操作，主要是对每个partition中的数据，都进行一个映射和聚合。上图中主要是将每个key对应的数据都聚合到一个iterator集合中。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

3.reduceByKey

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

4.distinct

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

5.cogroup

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

6.intersction

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

7.join

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

8.sortByKey

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

9.cartesian(笛卡尔乘积)

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

10.coalesce

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

11.repartition

spark(二)：算子原理

原文：https://www.cnblogs.com/siriJR/p/13287100.html