MySQL数据同步到ElasticSearch数据同步方案汇总

目录

• ​​1、同步双写​​
• ​​2、异步双写​​
• ​​3、定时任务​​
• ​​4、数据订阅​​

• ​​Maxwell​​
• ​​logstash​​
• ​​mysql-binlog-connector-java​​
• ​​go-mysql​​
• ​​python-mysql-replication​​
• ​​canal​​

1、同步双写

在写入MySQL，直接也同步往ES里写一份数据

2、异步双写

3、定时任务

4、数据订阅

Maxwell

logstash

• ​​logstash同步MySQL数据到ElasticSearch​​

mysql-binlog-connector-java

• https://github.com/shyiko/mysql-binlog-connector-java 不再维护
• https://github.com/osheroff/mysql-binlog-connector-java Java版本
• 
  
• ​​Java监听mysql的binlog详解(mysql-binlog-connector)​​
• ​​canal太复杂？试试这个超方便的binlog同步包，完美适配springboot​​

go-mysql

• https://github.com/go-mysql-org/go-mysql Golang版本

python-mysql-replication

• https://github.com/julien-duponchelle/python-mysql-replication Python版本

canal

• https://github.com/alibaba/canal 基于 MySQL 数据库binlog增量日志解析
• ​​Canal监听mysql的binlog日志实现数据同步​​
• ​​如何把MySQL数据同步到Elasticsearch？​​
• ​​实战 | canal 实现Mysql到Elasticsearch实时增量同步​​
• ​​Mysql+Canal+ElasticSearch实现数据同步​​
• ​​使用canal实现MySQL 8 全量同步数据到 ElasticSearch 7.15.2中 linux​​
• ​​通过Canal将MySQL数据同步到阿里云Elasticsearch​​