0
点赞
收藏
分享

微信扫一扫

本地服务怎么发布成rpc服务

吴wuwu 2024-06-24 阅读 6

bin/flink-cdc.sh 会用到 linux的系统环境变量(vim /etc/profile配置),使用环境变量 FLINK_HOME

6b003e2245ea4d7db90b2bbc518875bc.png

flinkcdc & flink 安装及使用:

1、flink-cdc-3.1.0/lib/ 内容如下:

6173141ab47b496c881acffd79e71518.png

2、flink-cdc-3.1.0/mysql-to-doris.yaml 文件配置如下:

source:
  type: mysql
  hostname: 172.xxx.xxx.xxx
  port: 3306
  username: root
  password: xxxxx
  tables: sync_db.\.*
  server-id: 5400-5404
  server-time-zone: Asia/Shanghai

sink:
  type: doris
  fenodes: 172.xxx.xxx.xxx:8030
  username: root
  password: xxxxx
  table.create.properties.light_schema_change: true

pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 2

3、启动 mysql-to-doris.yaml ,使用Pipeline Doris Connector:

4、查看 flinkcdc log:同步任务提交成功

b0340819040d4e9f8c901fa523f7cba0.png

flink web 8081端口查看job作业:

3bc10e51dd074ae4bf3446caf411a45a.png

问题:flink lib 加入 mysql-connect-java.jar 否则flink任务会无法连接sink端,报错Exception

解决:flink lib 安装完成后,引入 mysql-connect-java.jar ,配置如下

5dc92071d3a0421299730105dcec05b7.png

补充:查找 flink 路径下的 jar包是否包含该类

参考:MySQL 同步到 Doris | Apache Flink CDC

举报

相关推荐

0 条评论