首页 > 其他 > 详细

spark(3) - scala独立编程

时间:2019-03-13 21:26:10      阅读:145      评论:0      收藏:0      [点我收藏+]

>>非集成:

 

环境需要

  * spark 2.4.0

  * scala 2.11.12

  * sbt (打包)

开发过程

  1、shell命令下创建项目目录结构 

      *****/ project / src / main / scala 

                    -> . / ClassName.scala ( touch + gedit 命令)      

      *****/ project 

           -> . / ******.sbt (Scala & spark 配置信息)

  2、编写代码

  3、sbt打包jar - sbt package

  4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

 

 

>>集成环境

  * Eclipse +maven/sbt

  * Scala IDE for  eclipse

  * Intellij IDEA + maven/sbt

 

  使用过程:

    创建项目

    编写代码

    运行调试

 

【问题】:这几个工具配合使用maven/sbt 老由问题

   待处理 :1、网速慢   2、配置不熟悉

 

spark(3) - scala独立编程

原文:https://www.cnblogs.com/floakss/p/10526213.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!