首页 > 其他 > 详细

Spark—WordCount

时间:2021-09-04 06:22:27      阅读:23      评论:0      收藏:0      [点我收藏+]

 

 

 

本地模式

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
    val sc = new SparkContext(conf)   
    val inputFile = sc.textFile("/user/wd")
    val wordCount = inputFile.flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
    sc.stop()
  }
}

 

Spark—WordCount

原文:https://www.cnblogs.com/ojbtospark/p/15220518.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!