0
点赞
收藏
分享

微信扫一扫

2.3 Spark运行架构与原理

逸省 2024-05-15 阅读 7

Spark运行架构由SparkContext、Cluster Manager和Worker构成。在集群模式下,Driver进程初始化SparkContext并向Cluster Manager申请资源,后者根据算法在Worker节点上启动Executor。Executor负责任务执行,反馈状态给Cluster Manager。任务由Task Scheduler发送给Executor执行,完成后Driver注销资源。 Spark的基本流程确保资源管理和任务执行的高效协作,支持并行计算作业的顺利完成。在这里插入图片描述

举报

相关推荐

0 条评论