最近用DolphinScheduler搭建平台,有些不好的地方需要二开,记录一下本地环境配置
DolphinScheduler官网地址:https://dolphinscheduler.apache.org/zh-cn/
(平台部署也有坑,后续更新。。。)
1.下载DolphinScheduler源码
打开 DolphinScheduler 的 GitHub(https://github.com/apache/dolphinscheduler)选择下载的版本,可以clone或者直接下载zip包
2.安装zookeeper
1>. 下载zookeeper安装包:https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
2>. 解压apache-zookeeper-3.6.3-bin.tar.gz
3>. 在zookeeper的目录下新建data、log文件夹
4>. 将conf目录下的zoo_sample.cfg文件,复制一份,重命名为zoo.cfg,修改其中数据和日志的配置
修改如下:
5>. 在bin中先运行 zkServer.cmd,然后运行zkCli.cmd 查看zk运行状态,可以查看zk节点信息即代表安装成功。
出现以下信息,代表zookeeper安装成功
3. 搭建后端环境:
1>. 新建一个自我调试的mysql数据库,库名可为 :任意起(我这里的是dolphinscheduler)
2>. 把代码导入idea,修改根项目中 pom.xml,将 mysql-connector-java 依赖的 scope 修改为 compile
3> 将dao模块下的application-mysql.yaml文件中修改为自己刚刚创建的数据库信息
启动的时候会有,找不到 jdbc.Driver错误,要在dolphinscheduler-dao目录下的pom里面加上
<version>${mysql.connector.version}</version> <scope>compile</scope>
4> 初始化数据库信息
启动CreateDolphinScheduler里的main方法,启动参数配置读取mysql这个配置文件 -Dspring.profiles.active=mysql,我们再去刷新刚才的数据库,里面的表数据信息就都有了
5>添加dolphinscheduler-server模块数据库连接信息
再dolphinscheduler-server模块中的master.properties,worker.properties文件,dolphinscheduler-api中的application-api.properties都添加上mysql的配置信息,不然直接报错${spring.datasource.driver-class-name}参数注入问题
5>配置zk信息
将dolphinscheduler-service模块下的registry.properties文件中配置自己的zookeeper信息,
registry.block.until.connected.wait时间加长点,防止有超时错误
6>启动master、worker、api
现在就基本都配置好了,然后分别启动 master,worker, api。
4. 启动ui模块,访问页面:
1>dolphinscheduler-ui文件下新建一个文件.npmrc添加:
进入ui模块的目录下,打开windows控制台 npm install 安装前台需要的相关依赖,安装完成后,我们通过 npm run start 启动(node用的是v12.18.1)。
然后访问 localhost:8888, 使用默认的账号admin,密码dolphinscheduler123。登录成功。