bin/spark-shell --master local # 本地单worker执行 bin/spark-shell --master local[K] # 本地K个worker执行，K为"*"（星号）时表示本机CPU核数 bin/spark-shell --master local[K, F] # spark.task.maxFailures = F，单个task失败F次后job失败，即task可以重试最多F-1次 bin/spark-shell --master spark://HOST:PORT # 连接已有的standalone cluster，standalone模式就是手动部署一个测试用的集群，包含master和slave，可以为单机环境（standalone模式使用说明：https://spark.apache.org/docs/latest/spark-standalone.html）（standalone有client模式和cluster模式。client模式中driver和提交任务的client在一个进程中；而cluster模式中driver在cluster的一个worker中执行，client提交任务后就结束退出了，另外cluster模式还以配置为任务非0退出后立即重跑。） bin/spark-shell --master spark://host1:port1,host2:port2 # 连接已有的基于ZK的standalone master（有多个master，其中一个是leader，挂了以后其他master恢复状态并上位） bin/spark-shell --master mesos://host:port # 连接已有的Mesos cluster（没细看） bin/spark-shell --master yarn # 连接一个Yarn集群，可以配置 --deploy-mode client/cluster （yarn的地址从hadoop配置中读取，不需要在命令中指定） bin/spark-shell --master k8s://host:port # 连接一个kubernetes集群（目前不支持client模式）
bin/spark-submit --class <main-class> \ # 任务入口 --master <master-url> \ # 支持多种cluster manager --deploy-mode <deploy-mode> \ # cluster / client，默认为client --conf <key>=<value> ... # other options，如--supervise（非0退出立即重启）, --verbose（打印debug信息）, --jars xx.jar（上传更多的依赖，逗号分隔，不支持目录展开） <application-jar> \ # main-class来自这个jar包，必须是所有节点都可见的路径，hdfs://或file:// [application-arguments] # 入口函数的参数 bin/spark-submit --master <master-url> <application-python> [application-arguments]
原文：https://www.cnblogs.com/desertfish/p/13136786.html