Spark 0.9.0启动脚本——bin/spark-class

时间：2014-03-26 06:09:12 阅读：423 评论：0 收藏：0 [点我收藏+]

1. 判断是否cygwin环境

2. 设置SCALA_VERSION

3. 设置SPARK_HOME

4. 执行conf/spark-env.sh

5. 如果运行类是org.apache.spark.deploy.master.Master或org.apache.spark.deploy.worker.Worker，设置

SPARK_MEM=${SPARK_DAEMON_MEMORY:-512m}

SPARK_DAEMON_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS -Dspark.akka.logLifecycleEvents=true"

OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS"

否则，设置

OUR_JAVA_OPTS="$SPARK_JAVA_OPTS"

1） org.apache.spark.deploy.master.Master：

OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS $SPARK_MASTER_OPTS"

2） org.apache.spark.deploy.worker.Worker

OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS $SPARK_WORKER_OPTS"

3） org.apache.spark.executor.CoarseGrainedExecutorBackend

OUR_JAVA_OPTS="$SPARK_JAVA_OPTS $SPARK_EXECUTOR_OPTS"

4） org.apache.spark.executor.MesosExecutorBackend

同上

5） org.apache.spark.repl.Main

OUR_JAVA_OPTS="$SPARK_JAVA_OPTS $SPARK_REPL_OPTS"

7. 检测java，JAVA_HOME->java命令->退出

8. SPARK_MEM=${SPARK_MEM:-512m}

JAVA_OPTS="$OUR_JAVA_OPTS -Djava.library.path=$SPARK_LIBRARY_PATH -Xms$SPARK_MEM -Xmx$SPARK_MEM <cat /conf/java-opts的结果>"

TODO。。。

9. 执行java -cp $$CLASSPTH $JAVA_OPTS $@

原文：http://www.cnblogs.com/hujunfei/p/3624592.html

踩

(0)

评论一句话评论（0）

分享档案

更多>