0
点赞
收藏
分享

微信扫一扫

spark提交任务命令

飞鸟不急 2022-04-02 阅读 96
dockerspark
### yarn-cluster模式
/home/hduser/spark-2.4.5/bin/spark-submit --name spark_mongodb --master yarn --queue root.experiment --deploy-mode cluster --class 执行类 main函数接收参数
/home/hduser/spark-2.4.5/bin/spark-submit --name spark_mongodb --master yarn --queue root.experiment --deploy-mode cluster --class 执行类 main函数接收参数
/home/hduser/spark-2.4.5/bin/spark-submit --name 测试stream读取hdfs --master yarn --queue root.experiment --deploy-mode cluster --class 执行类 main函数接收参数

### standlone模式

/home/hduser/spark-2.4.5/bin/spark-submit --name 名称 --master spark://cloud25:7077 --deploy-mode client --class 执行类 main函数接收参数
/home/hduser/spark-2.4.5/bin/spark-submit --name 测试stream读取hdfs --master spark://cloud25:7077 --deploy-mode client --class com.shiwusuo.test  sparkStreamTest-1.0-SNAPSHOT.jar 

### spark-local模式


/home/hduser/spark-2.4.5/bin/spark-submit --name 聚类 --master local[*] --class 执行类 main函数接收参数
/home/hduser/spark-2.4.5/bin/spark-submit --name 聚类 --master local[*] --class 执行类 main函数接收参数
举报

相关推荐

0 条评论