0
点赞
收藏
分享

微信扫一扫

Spark-Submit 提交参数说明

徐一村 2022-07-04 阅读 79
  1. –master
    MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn- cluster,yarn-client, local
  2. –deploy-mode
    DEPLOY_MODE, Driver 程序运行的地方,client 或者 cluster,默认是 client。
  3. –class
    CLASS_NAME, 主类名称,含包名
  4. –jars
    逗号分隔的本地 JARS, Driver 和 executor 依赖的第三方 jar 包
  5. –files
    用逗号隔开的文件列表,会放置在每个 executor 工作目录中
  6. –conf
    spark 的配置属性
  7. –driver-memory
    Driver 程序使用内存大小(例如:1000M,5G),默认 1024M
  8. –executor-memory
    每个 executor 内存大小(如:1000M,2G),默认 1G
    Spark standalone with cluster deploy mode only:
  9. –driver-cores
    Driver 程序的使用 core 个数(默认为 1),仅限于 Spark standalone 模式
    Spark standalone or Mesos with cluster deploy mode only:
  10. –supervise 【SparkStreaming】
    失败后是否重启 Driver,仅限于 Spark alone 或者 Mesos 模式
    Spark standalone and Mesos only:
  11. –total-executor-cores
    executor 使用的总核数,仅限于 SparkStandalone、Spark on Mesos 模式Spark standalone and YARN only:
  12. –executor-cores
    每个 executor 使用的 core 数,Spark on Yarn 默认为 1,standalone 默认为 worker 上所 有可用的 core。
    YARN-only:
  13. –driver-cores
    driver 使用的 core,仅在 cluster 模式下,默认为 1。
  14. –queue
    QUEUE_NAME 指定资源队列的名称,默认:default
  15. –num-executors
    一共启动的 executor 数量,默认是 2 个。


举报

相关推荐

0 条评论