0
点赞
收藏
分享

微信扫一扫

canal单机环境搭建(Linux)

皮皮球场 2022-04-19 阅读 44
大数据

目录

介绍:

一、安装准备

二、安装配置

三、验证安装


介绍:

Canal 是用 java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。

目前,Canal 主要支持了 MySQL 的 Binlog 解析,解析完成后才利用 Canal Client 来处理

获得的相关数据。(数据库同步需要阿里的 Otter 中间件,基于 Canal)。

常见场景:

常见场景 1 :更新缓存

常见场景 2 :抓取业务数据新增变化表,用于制作拉链表。

常见场景3:抓取业务表的新增变化数据,用于制作实时统计

一、安装准备

1.1下载安装包

官网地址如下:

Releases · alibaba/canal · GitHub

选择想要安装的版本

二、安装配置

2.1上传安装包

2.2解压

#canal解压后是散的,解压的时候需要将canal指定
mkdir canal

进入安装包的目录执行:

#解压到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal

2.3修改canal.properties

进入canal的conf

vi canal.properties

修改:canal.serverMode和canal.mq.servers

#把这两个位置修改成以下这样
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093

 2.4修改instance.properties

进入canal/conf/example,

vi instance.properties

 修改以下内容:

#配置 MySQL 服务器地址
canal.instance.master.address=hadoop01:3306

#配置连接 MySQL 的用户名和密码
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456

#修改 Kafka 的主题以及分区数
canal.mq.topic=test_db
canal.mq.partition=1

注:hadoop01是我的主机名,3306是端口号;

gmall是我MySQL的用户名,Zj_123456是密码;

kafka的主题名为test_db;分区参数为1。

设置主题等等操作参考:

kafka的基本操作(命令行操作)_一个人的牛牛的博客-CSDN博客_kafka操作

安装kafka参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka部署

三、验证安装

3.1启动

 bin/startup.sh

3.2jps查看进程

 看到 CanalLauncher 表示启动成功,同时会创建 test_db 主题

3.3kafka 

查看当前服务器中的所有topic(在kafka目录下)
kafka-topics.sh --zookeeper hadoop01:2181 --list

 

举报

相关推荐

0 条评论