系统的设计很重要的一个环节就是资源调度。设计者将资源进行不同粒度的抽象建模,然后将资源统一放入调度器,通过一定的算法进行调度,最终要达到高吞吐或者低延迟的目的。
Application调度就是由用户提交到Spark中的作业集合,通过一定的算法,对每个按照一定次序分配集群中资源的过程。
例如:FIFO模式,用户先提交的作业1优先分配需要的资源,之后提交的作业2再分配资源,以此类推。
Application调度模式:
(1)Standalone 模式: FIFO模式
(2)Mesos:粗粒度模式和细粒度模式
(3)YARN:独占模式
Job调度
Job调度就是在Application一组Job集合,在Application分配到的资源量下,通过一定的算法,对每个按一定次序分配的Application中资源的过程。