业务数据采集模块—数据同步策略
前言
在了解了所有业务数据的表后,就要解决这些表的同步方式,有些表可能每天都会变,有些表却很少变化,针对不同的表,要采取不同的同步方式,这里具体介绍业务数据表的同步方式
一、业务数据同步概述
1.数据同步策略概述
数据仓库中的业务数据来源于业务数据库,这需要我们每日定时从业务数据库中将数据传输到数据仓库,然后才能对数据进行分析统计。
因为离线数仓的计算周期一般是一天,所以数据同步周期选择也是一天,保持同步。
同步策略有两种,一种是全量同步,一种是增量同步。
2.全量同步和增量同步
1)全量同步:
全量同步,就是