首页 > 其他 > 详细

Spark Submit的一些注意事项

时间:2020-08-25 14:51:07      阅读:67      评论:0      收藏:0      [点我收藏+]

脚本示例

spark-submit --master yarn --deploy-mode cluster --class org.resourcesubmit.spark.app.RSKafkaToHive --num-executors 1 --executor-memory 1G --executor-cores 2 --driver-memory 512m --conf yarn.nodemanager.resource.memory-mb=512 --conf yarn.scheduler.maximum-allocation-mb=1024 --conf spark.executor.memoryOverhead=1024 --conf spark.core.connection.ack.wait.timeout=500 --conf mapreduce.fileoutputcommitter.marksuccessfuljobs=false oss://jars/sensor/ResourceSubmitETL-1.0-SNAPSHOT-jar-with-dependencies.jar 

注意点

1. -- conf 这种参数配置形式 ‘=’前后不能有空格

2.声明jar 包 一定要放在最后,之后只能跟 要传入的参数,其他的全部失效

参数配置参考

附上参考链接 https://www.cnblogs.com/weiweifeng/p/8073553.html

Spark Submit的一些注意事项

原文:https://www.cnblogs.com/yangxusun9/p/13559435.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!