文章目录
- SparkStandalone -client运行模式
- 提交命令
- 问题 :
- standalone-cluster 提交任务方式
- 提交命令
SparkStandalone -client运行模式
提交命令
./spark-submit
--master spark://node1:7077
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
1000
或者
./spark-submit
--master spark://node1:7077
--deploy-mode client
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100
① worker节点向Master主节点汇报资源情况,节点的内存占有量,使用的核数
②客户端提交,Driver进程也就是sparkSubmit进程,向master申请application的资源情况
③得到资源的时候发送给work节点,excutor进程,回收结果
问题 :
一台机器提交多个application,比如100个,会造成网卡激增问题,严重会卡掉其他进程,只可以用于测试环境
standalone-cluster 提交任务方式
提交命令
/spark-submit
--master spark://node1:7077
--deploy-mode cluster
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
100
集群模式driver不是在client端启动的,是随机选择一个work节点去启动driver进程,dirver进程申请application资源,然后向excutor发送任务和回收结果,可以通过webUI查看,同一台机器启动多个application,driver会分散,解决了网卡激增问题
