文章目录

• Azkaban多Executor模式注意事项
• 参考资料
• • Azkaban完整配置
  • YAML语法

Azkaban多Executor模式注意事项

Azkaban多Executor模式是指，在集群中多个节点部署Executor。在这种模式下， Azkaban web Server会根据策略，选取其中一个Executor去执行任务。
为确保所选的Executor能够准确的执行任务，我们须在以下两种方案任选其一，推荐使用方案二。

方案一：指定特定的Executor（hadoop102）去执行任务。
1）在MySQL中azkaban数据库executors表中，查询hadoop102上的Executor的id。

mysql> use azkaban;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from executors;
+----+-----------+-------+--------+
| id | host      | port  | active |
+----+-----------+-------+--------+
|  1   | hadoop103 | 35985 |    1 |
|  2   | hadoop104 | 36363 |    1 |
|  3   | hadoop102 | 12321 |    1 |
+----+-----------+-------+--------+
3 rows in set (0.00 sec)

2）在执行工作流程时加入useExecutor属性，如下

方案二：在Executor所在所有节点部署任务所需脚本和应用。

参考资料

Azkaban完整配置

见官网文档：https://azkaban.readthedocs.io/en/latest/configuration.html

YAML语法

Azkaban2.0工作流文件是用YAML语法写的，相关教程如下：

https://segmentfault.com/a/1190000017450533