0
点赞
收藏
分享

微信扫一扫

GBASE南大通用应用案例-实时同步系统 GBase RTSync


GBASE南大通用实时同步系统,简称:GBase RTSync,它是一款自主研发的异构及同构数据库增量数据实时同步产品,具备实时性、一致性、精准性、易扩展性和可集成特性等。

项目需求

国网某省份要重点进行人员、财务、物资、客户、资产、项目等10个业务主题域模型的数据整合实施工作。数据整合任务涉及物理模型有 3000+ 个,涉及来源表有 3000+ 张等。本项目模型多、表多、表关系复杂度高,但要求数据整合工作快速准确,增量数据准实时同步到数据仓库中。

项目方案

GBase RTSync+GBase 8a MPP组合。搭建GBase RTSync前置服务器,对接前端贴源历史库和后端全域模型的数据明细层及轻度汇总层。RTSync完成历史数据导入和源库零停机的增量数据接入,支撑峰值源库1.5TB/日的归档量的增量同步。GBase RTSync + GBase 8a MPP 集群数据库深度优化绑定方案,满足海量数据存储、大规模并行计算、准实时增量流转等功能需求和性能要求。

GBASE南大通用应用案例-实时同步系统 GBase RTSync_GBASE

产品介绍

GBASE南大通用实时同步系统,简称:GBase RTSync,它是一款自主研发的异构及同构数据库增量数据实时同步产品,具备实时性、一致性、精准性、易扩展性和可集成特性,适用于OLTP数据库与OLAP数据库联动向应用系统提供数据管理和数据分析功能的业务场景,可以实现将OLTP数据库的数据实时同步到OLAP数据库,从而使得OLAP数据库具备了实时数据分析的基础,解决数据增量同步问题,能够有效提升数据仓库系统、BI系统和决策支持系统的数据分析效率和及时性。

GBASE南大通用应用案例-实时同步系统 GBase RTSync_GBASE_03

GBase RTSync核心组件

GBASE南大通用应用案例-实时同步系统 GBase RTSync_GBASE_05

● Capture:从数据源获取并解析增量数据逻辑日志,按照特定的协议标准封装后发送给消息队列;

● Delivery:从消息队列组件中获取协议数据,并根据目标库的类型,组织和优化数据,将数据写入目标数据库;

● MQ:支持Kafka以及Rabbit MQ,两者均可保证高可用;

● 管理模块:启、停和监控Capture 、 Delivery组件,校验源和目标端数据同步相关配置信息。

GBase RTSync关键技术

● 基于逻辑日志的解析的增量同步对源库影响小

● 在线接管,减少源库的非计划停机

● 分布式架构支持水平扩展

● 与主流消息中间件兼容Kafka、rabbitMQ

● 支持高可用模式

举报

相关推荐

0 条评论