0
点赞
收藏
分享

微信扫一扫

008-spark 的调度


系统的设计很重要的一个环节就是资源调度。设计者将资源进行不同粒度的抽象建模,然后将资源统一放入调度器,通过一定的算法进行调度,最终要达到高吞吐或者低延迟的目的。




Application调度就是由用户提交到Spark中的作业集合,通过一定的算法,对每个按照一定次序分配集群中资源的过程。


例如:FIFO模式,用户先提交的作业1优先分配需要的资源,之后提交的作业2再分配资源,以此类推。



Application调度模式:


(1)Standalone 模式: FIFO模式


(2)Mesos:粗粒度模式和细粒度模式


(3)YARN:独占模式



Job调度


Job调度就是在Application一组Job集合,在Application分配到的资源量下,通过一定的算法,对每个按一定次序分配的Application中资源的过程。




008-spark 的调度_粗粒度



举报

相关推荐

0 条评论