首页 > 其他 > 详细

IDEA开发scala版本的spark程序

时间:2020-02-18 17:45:35      阅读:45      评论:0      收藏:0      [点我收藏+]

技术分享图片

 

 

技术分享图片

 

 

package com.gong

import org.apache.spark.{SparkConf, SparkContext}

object MyScalaWorldCount {
  def main(args: Array[String]): Unit = {
        //参数检测
        if(args.length<2){
          System.err.println("Usage: MyScalaWorldCount <input> <output>")
          System.exit(1)
        }

       //创建SparkContext
       val conf = new SparkConf().setAppName("MyScalaWorldCount")
       conf.setMaster("local[2]")
       val sc = new SparkContext(conf)

     //读取数据
    val lines=sc.textFile(args(0))

    //进行相关计算
    val resultRDD = lines.flatMap(_.split("\\s+")).map((_,1)).reduceByKey(_+_)

    //保存结果
    resultRDD.saveAsTextFile(args(1))

    sc.stop()
  }
}

 

 

 

运行程序可以看到报错,因为没有传入输入输出路径

技术分享图片

 

 

 

 

传入参数

技术分享图片

 

 

 

技术分享图片

 

 

 

运行程序

技术分享图片

 

 

 

技术分享图片

 

IDEA开发scala版本的spark程序

原文:https://www.cnblogs.com/braveym/p/12327163.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!