Spark_RDD

• 获取分区列表(getPartitions):有一个数据分片列表，能够将数据进行切分，切分后的数据能够进行并行计算，是数据集的原子组成部分。
• 可以在每一个分区上进行计算(compute)：计算每个分区，得到一个可便利的结果，用于说明在父RDD上执行何种计算。
• 获取每个RDD的依赖(getDependencies):计算每个RDD对父RDD的依赖列表，源RDD没有依赖，通过依赖关系描述血统。
• RDD的键值分区器( @transient val partitioner: Option[Partitioner] = None):描述分区模式和数据存放的位置，键值对的RDD根据哈希值进行分区。
• 在那个分区上进行计算最好(getPreferredLocations):每一个分片的优先计算位置

三、使用

1、创建入口

val conf = new SparkConf().setMaster("local[6]")
val sc = new SparkContext(conf)

View Code

2、通过文件方式

def rddCreateFiles(): Unit ={
    val rdd1 = sc.textFile("hdfs://node01:8020/spark/data/wordcount.txt")
    val rdd2 = sc.textFile("dataset/wordcount.txt")
  }

View Code