首页 > 其他 > 详细

spark模式匹配问题点

时间:2019-12-08 15:34:51      阅读:78      评论:0      收藏:0      [点我收藏+]
import org.apache.spark.{SparkConf, SparkContext}

object hello {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf()
      .setAppName("WordFreq_Spark")
      .setMaster("local")
    val sc = new SparkContext(conf)
   /val rdddata =sc.parallelize(Array(("201800001",83,1),("201900002",38,2),("201900003",90,3)),3)
    //val rdddata[String,String,String]=sc.textFile("D:\\\\杂七杂八\\\\瞎画\\\\test.csv")             //问题点:为什么文件形式不行
    val rdddata02=rdddata.mapPartitions(iter => {
      var result=List[String]()
      while(iter.hasNext){
        result=iter.next() match{
          case (id,grade,num) if num <= 10 =>id + "_对应成绩为_" +grade :: result
          case _=>result
        }
      }
      result.iterator
    }
    )
    rdddata02.foreach(println)
  }
}

 

spark模式匹配问题点

原文:https://www.cnblogs.com/tangsonghuai/p/12005818.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!