ZooKeeper以及DolphinScheduler的用法-CFANZ编程社区

MasterServer

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。 MasterServer基于netty提供监听服务。

该服务内主要包含:
- DistributedQuartz分布式调度组件，主要负责定时任务的启停操作，当quartz调起任务后，Master内部会有线程池具体负责处理任务的后续操作；
- MasterSchedulerService是一个扫描线程，定时扫描数据库中的t_ds_command表，根据不同的命令类型进行不同的业务操作；
- WorkflowExecuteRunnable主要是负责DAG任务切分、任务提交监控、各种不同事件类型的逻辑处理；
- TaskExecuteRunnable主要负责任务的处理和持久化，并生成任务事件提交到工作流的事件队列；
- EventExecuteService主要负责工作流实例的事件队列的轮询；
- StateWheelExecuteThread主要负责工作流和任务超时、任务重试、任务依赖的轮询，并生成对应的工作流或任务事件提交到工作流的事件队列；
- FailoverExecuteThread主要负责Master容错和Worker容错的相关逻辑；
WorkerServer

WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。 WorkerServer服务启动时向Zookeeper注册临时节点，并维持心跳。 WorkerServer基于netty提供监听服务。

该服务包含：
- WorkerManagerThread主要负责任务队列的提交，不断从任务队列中领取任务，提交到线程池处理；
- TaskExecuteThread主要负责任务执行的流程，根据不同的任务类型进行任务的实际处理；
- RetryReportTaskStatusThread主要负责定时轮询向Master汇报任务的状态，直到Master回复状态的ack，避免任务状态丢失；
ZooKeeper

ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。另外系统还基于ZooKeeper进行事件监听和分布式锁。我们也曾经基于Redis实现过队列，不过我们希望DolphinScheduler依赖到的组件尽量地少，所以最后还是去掉了Redis实现。
AlertServer

提供告警服务，通过告警插件的方式实现丰富的告警手段。
ApiServer

API接口层，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。
UI

系统的前端页面，提供系统的各种可视化操作界面。

DolphinScheduler的启动访问和简单运行

①启动该服务，要先启动ZooKeeper

②访问web页面

http://192.168.88.80:12345/dolphinscheduler/ui/view/login/index.html

③安全中心

创建队列

队列是在执行 spark、mapreduce 等程序，需要用到“队列”参数时使用的。
管理员进入安全中心 -> 队列管理页面，点击“创建队列”按钮，创建队列。

添加租户

租户对应的是 Linux 的用户，用于 worker 提交作业所使用的用户。如果 linux 没有这个用户，则会导致任务运行失败。你可以通过修改 worker.properties 配置文件中参数 worker.tenant.auto.create=true 实现当 linux 用户不存在时自动创建该用户。worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令
租户编码：租户编码是 Linux上的用户，唯一，不能重复
管理员进入安全中心->租户管理页面，点击“创建租户”按钮，创建租户。