目录
- 💚部署前须知
- 1. 部署规划
- 2. 上传并解压以下安装包
- 3. 重命名
- 4. 向MySQL中导入脚本
- 5. 更改MySQL包大小,防止Azkaban连接MySQL阻塞
- 6. 在azkaban-exec/conf目录下，编辑文件azkaban.properties
- 7. 分发 azkaban-exec 给其它所有节点
- 8. 启动executor server
- 9. 激活executor
- 10. 在azkaban-web/conf 目录下，编辑文件azkaban.properties
- 11. 启动 Web Server
- 12. 浏览器中访问 https://hadoop201:8081/
- 13. Azkaban 一个简单测试案例
💚部署前须知
1、 选择 Mysql 作为 Azkaban 数据库，因为 Azkaban 建立了一些 Mysql 连接增强功能，以方便 Azkaban 设置。并增强服务可靠性。
2、 linux 安装mysql 链接
1. 部署规划
2. 上传并解压以下安装包
azkaban-db-3.84.4.tar.gz
azkaban-exec-server-3.84.4.tar.gz
azkaban-web-server-3.84.4.tar.gz
3. 重命名
mv azkaban-exec-server-3.84.4.tar.gz azkaban-exec
4. 向MySQL中导入脚本
进入 mysql，创建 azkaban 数据库，并将解压的脚本导入到 azkaban 数据库。
[root@hadoop201 ~]# mysql -uroot -p000000
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
注：source 后跟.sql 文件，用于批量处理.sql 文件中的 sql 语句。
5. 更改MySQL包大小,防止Azkaban连接MySQL阻塞
[hadoop@hadoop201 azkaban-db-3.84.4]$ sudo vim /etc/my.cnf
- 在
[mysqld]下面加一行
max_allowed_packet=1024M
-
重启MySQL
sudo systemctl restart mysqld
6. 在azkaban-exec/conf目录下，编辑文件azkaban.properties
Azkaban Executor Server处理工作流和作业的实际执行
根据自己的实际情况修改属性
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop201:8081
executor.port=12321
database.type=mysql
mysql.port=3306
mysql.host=hadoop201
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# 暴漏关于任务调度失败和成功的一些指标
executor.metric.reports=true
executor.metric.milisecinterval.default=60000
7. 分发 azkaban-exec 给其它所有节点
8. 启动executor server
必须进入到/opt/module/azkaban/azkaban-exec路径,分别在三台机器上启动executor server
[hadoop@hadoop201 azkaban-exec]$ bin/start-exec.sh
注意：如果在/opt/module/azkaban/azkaban-exec目录下出现executor.port 文件，说明启动成功
9. 激活executor
每个节点都需要激活
[hadoop@hadoop201 azkaban-exec]$ curl -G "hadoop201:12321/executor?action=activate" && echo
10. 在azkaban-web/conf 目录下，编辑文件azkaban.properties
[hadoop@hadoop201 server]$ pwd
/opt/modules/azkaban/server
azkaban.properties
根据自己的实际情况修改属性
default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=hadoop201
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
#StaticRemainingFlowSize:正在排队的任务数
#CpuStatus:CPU占用情况
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban-users.xml
11. 启动 Web Server
[hadoop@hadoop201 azkaban-web]$ pwd
/opt/module/azkaban/azkaban-web
[hadoop@hadoop201 azkaban-web]$ bin/azkaban-web-start.sh
12. 浏览器中访问 https://hadoop201:8081/
13. Azkaban 一个简单测试案例
Azkaban 一个简单测试案例链接描述
