4.1 系统架构
Flink运行时架构
Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。
1、作业管理器（JobManager）
JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。也就是说，每个应用都应该被唯一的JobManager所控制执行。尽管在HA模式下，一个应用可以配置多个JobManager，但是实际运行中同一时刻只有一个在使用。
JobManager包含3个不同的组件：
- JobMaster
- ResourceManager
- Dispatcher
（1）JobMaster
（2）ResourceManager
（3）Dispatcher
2、任务管理器（TaskManager）
Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）
4.2 核心概念
1、数据并行和任务并行
数据并行：将输入数据分组，将同一操作（算子）的多个任务来并行执行在不同的数据子集上。
任务并行：不同算子同时执行
2、并行度
（1）并行子任务和并行度
**并行子任务：**在数据并行中，我们需要将同一算子“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子任务就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。
**并行度：**一个算子的子任务数。不同算子可以有不同的并行度。
（2）并行度的设置
-
代码中设置
算子后面调用setParallelism()方法
-
提交应用时设置
bin/flink run –p 并行度 -c com.xxx.xxx xxx.jar -
配置文件中设置 flink-conf.yaml
parallelism.default: 2
优先级：代码>命令行>配置
4.3 作业提交流程
1、Standalone会话模式作业提交流程
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hf6dyI0v-1693058508447)(https://drawing-bed-zlin.oss-cn-shenzhen.aliyuncs.com/img/202308262200798.png)]
2、逻辑流图、作业图、执行图、物理流图
逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yB1HPwjd-1693058508447)(https://drawing-bed-zlin.oss-cn-shenzhen.aliyuncs.com/img/202308262200024.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U23tcMGv-1693058508448)(第四章 Flink架构.assets/image-20230715095418312.png)]
1）逻辑流图（Stream Graph）
这是根据用户通过 DataStream API编写的代码生成的最初的DAG图，用来表示程序的拓扑结构。这一步一般在客户端完成。
2）作业图（JobGraph）
StreamGraph经过优化后生成的就是作业图（JobGraph），这是提交给 JobManager 的数据结构，确定了当前作业中所有任务的划分。主要的优化为：将多个符合条件的节点链接在一起合并成一个任务节点，形成算子链，这样可以减少数据交换的消耗。JobGraph一般也是在客户端生成的，在作业提交时传递给JobMaster。
我们提交作业之后，打开Flink自带的Web UI，点击作业就能看到对应的作业图
3）执行图（ExecutionGraph）
JobMaster收到JobGraph后，会根据它来生成执行图（ExecutionGraph）。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。与JobGraph最大的区别就是按照并行度对并行子任务进行了拆分，并明确了任务间数据传输的方式。
4）物理图（Physical Graph）
JobMaster生成执行图后，会将它分发给TaskManager；各个TaskManager会根据执行图部署任务，最终的物理执行过程也会形成一张“图”，一般就叫作物理图（Physical Graph）。这只是具体执行层面的图，并不是一个具体的数据结构。
物理图主要就是在执行图的基础上，进一步确定数据存放的位置和收发的具体方式。有了物理图，TaskManager就可以对传递来的数据进行处理计算了。
3、Yarn应用模式作业提交流程
