0
点赞
收藏
分享

微信扫一扫

StreamX1.2.1+flink1.12.7 平台部署

绣文字 2022-01-20 阅读 26

StreamX1.2.1+flink1.12.7 平台部署

1. 必须环境准备

  1. StreamX最新版本1.2.1支持用户上传jar包的方式运行代码,目前支持flink版本为1.12以上
  2. 前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gz
  3. hadoop环境准备
  4. flink安装包准备,本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.11.tgz

2. 安装机器环境变量配置

如果是使用cdh安装的hadoop,可以参考以下配置

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #hadoop 安装目录
export HADOOP_CONF_DIR=/etc/hadoop/conf
export HIVE_HOME=$HADOOP_HOME/../hive
export HBASE_HOME=$HADOOP_HOME/../hbase
export HADOOP_HDFS_HOME=$HADOOP_HOME/../hadoop-hdfs
export HADOOP_MAPRED_HOME=$HADOOP_HOME/../hadoop-mapreduce
export HADOOP_YARN_HOME=$HADOOP_HOME/../hadoop-yarn

3. 安装StreamX

# 1.自行新建mysql数据库 streamx

# 2.解压安装包  
tar -zxvf streamx-console-service-1.2.1-bin.tar.gz -C /opt/dp/

# 3.进入目录
cd /opt/dp/streamx-console-service-1.2.1

# 4.将以下脚本在mysql中运行,创建表结构,初始化数据
├── script
│     ├── final                 // 完整的ddl建表sql
│     ├── upgrade               // 每个版本升级部分的sql(只记录从上个版本到本次版本的sql变化)

# 5.修改配置
进入到 conf 下,修改 conf/application.yml,找到 datasource 这一项,找到 mysql 的配置,修改成对应的信息即可

# 6.启动后端
cd streamx-console-service-1.0.0/bin
bash startup.sh

4. 安装flink

  1. 解压安装包flink-1.12.7-bin-scala_2.11.tgz/opt/dp目录下

  2. 修改配置flink-1.12.7/conf/flink-conf.yaml,增加以下配置

    classloader.check-leaked-classloader: false
    

5. 登录ui配置flink任务

  1. 打开浏览器 输入http://$host:10000 即可登录streamx控制台

  2. 配置flink_home

  3. 配置StreamX Webapp address

  4. 上传任务并运行


    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jGMVIa8j-1642573562574)(Untitled_images/image-20220119135218389.png)]

举报

相关推荐

0 条评论