首页 > 系统服务 > 详细

第一次看到Spark崩溃:Spark Shell内存OOM的现象!

时间:2016-11-14 02:34:00      阅读:394      评论:0      收藏:0      [点我收藏+]

第一次看到Spark崩溃

Spark Shell内存OOM的现象


要搞Spark图计算,所以用了Google的web-Google.txt,大小71.8MB。


以命令:

val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt")


建立图的时候,运算了半天后直接退回了控制台。

界面xian


scala> val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt")

[Stage 0:>                                                          (0 + 2) / 2]./bin/spark-shell: line 44:  3592 Killed                  "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.repl.Main --name "Spark shell" "$@"


第一次看到Spark崩溃:Spark Shell内存OOM的现象!

原文:http://36006798.blog.51cto.com/988282/1872455

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!