StreamX1.2.1+flink1.12.7 平台部署
1. 必须环境准备
- StreamX最新版本1.2.1支持用户上传jar包的方式运行代码,目前支持flink版本为1.12以上
- 前后端混合编译得到StreamX最新安装包
streamx-console-service-1.2.1-bin.tar.gz
- hadoop环境准备
- flink安装包准备,本例使用flink1.12.7
https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz
2. 安装机器环境变量配置
如果是使用cdh安装的hadoop,可以参考以下配置
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #hadoop 安装目录
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HIVE_HOME=$HADOOP_HOME/../hive
export HBASE_HOME=$HADOOP_HOME/../hbase
export HADOOP_HDFS_HOME=$HADOOP_HOME/../hadoop-hdfs
export HADOOP_MAPRED_HOME=$HADOOP_HOME/../hadoop-mapreduce
export HADOOP_YARN_HOME=$HADOOP_HOME/../hadoop-yarn
3. 安装StreamX
# 1.自行新建mysql数据库 streamx
# 2.解压安装包
tar -zxvf streamx-console-service-1.2.1-bin.tar.gz -C /opt/dp/
# 3.进入目录
cd /opt/dp/streamx-console-service-1.2.1
# 4.将以下脚本在mysql中运行,创建表结构,初始化数据
├── script
│ ├── final // 完整的ddl建表sql
│ ├── upgrade // 每个版本升级部分的sql(只记录从上个版本到本次版本的sql变化)
# 5.修改配置
进入到 conf 下,修改 conf/application.yml,找到 datasource 这一项,找到 mysql 的配置,修改成对应的信息即可
# 6.启动后端
cd streamx-console-service-1.0.0/bin
bash startup.sh
4. 安装flink
-
解压安装包
flink-1.12.7-bin-scala_2.11.tgz
到/opt/dp
目录下 -
修改配置
flink-1.12.7/conf/flink-conf.yaml
,增加以下配置classloader.check-leaked-classloader: false
5. 登录ui配置flink任务
-
打开浏览器 输入http://$host:10000 即可登录streamx控制台
-
配置flink_home
-
配置
StreamX Webapp address
-
上传任务并运行