然后我们来看事务写入,有两种方式,可以看到是预写日志 和两阶段提交.
可以看到sink中的事务,也具有原子性对吧
预写日志,可以看到他的思想就是,利用checkpoint,当checkpoint的完成的时候,再把数据,一次性的
写入到sink系统中去,因为checkpoint完成了,就代表,当时处理的那个数据后面的所有的数据就
都处理完了.在checkpoint创建中的时候,先把结果数据,进行缓存,存起来,当checkpoint完成的时候,
就可以把缓存的这一批数据一起写入到sink系统,可以看到.
这个预写日志也有问题对吧,什么问题?
他把结果写出变成了,批处理了类似于对吧,因为他就是先把数据攒起来,等checkpoint,创建
完毕,这批数据完全处理没问题了的时候,才回去写出sink.
这个也相当于一个事务对吧,确认一批数据都处理没问题了再写出到sink
这里实现一个:GenericWriteAheadSink就可以了.
