spark内核及调优

环境准备及提交流程

程序起点

执行内存管理：

执行内存主要用来存储任务在执行shuffle时占用的内存，shuffle按照一定规则对rdd数据重新分区的过程，我们来看shuffle的write和read两阶段对执行内存的使用：