大数据学习——spark学习

时间：2019-06-10 19:51:01 阅读：122 评论：0 收藏：0 [点我收藏+]

计算圆周率

[root@mini1 bin]# ./run-example SparkPi

技术分享图片

[root@mini1 bin]# ./run-example SparkPi 10

技术分享图片

[root@mini1 bin]# ./run-example SparkPi 1000

技术分享图片

运行spark-shell的两种方式：

1直接运行spark-shell

　　单机通过多线程跑任务，只运行一个进程叫submit

2运行spark-shell --master spark://mini1:7077

　　将任务运行在集群中，运行submit在master上，运行executor在worker上

启动

[root@mini1 bin]# ./spark-shell

技术分享图片

hdfs

hadoop/sbin/start-dfs.sh

技术分享图片

计算wordcount

 sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

技术分享图片

升序，降序排列

技术分享图片

mapReduce执行流程

技术分享图片

原文：https://www.cnblogs.com/feifeicui/p/10999551.html

踩

(0)

评论一句话评论（0）

分享档案

更多>