首页 > 系统服务 > 详细

一、spark入门之spark shell:wordcount

时间:2016-08-02 22:15:14      阅读:298      评论:0      收藏:0      [点我收藏+]

1、安装完spark,进入spark中bin目录: bin/spark-shell
 
scala> val textFile = sc.textFile("/Users/admin/spark/spark-1.6.1-bin-hadoop2.6/README.md")
scala> textFile.flatMap(_.split(" ")).filter(!_.isEmpty).map((_,1)).reduceByKey(_+_).collect().foreach(println)
 
result:
(-Psparkr,1)
(Build,1)
(built,1)
(-Phive-thriftserver,1)
(2.4.0,1)
(-Phadoop-2.4,1)
(Spark,1)
(-Pyarn,1)
(1.5.1,1)
(flags:,1)
(for,1)
(-Phive,1)
(-DzincPort=3034,1)
(Hadoop,1)
 

一、spark入门之spark shell:wordcount

原文:http://www.cnblogs.com/ylcoder/p/5730926.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!