Tapdata 技术博客
Tapdata 技术博客

DaaS 架构概述 | Tapdata

2021-11-02 14:15 Tapdata

今天的企业拥有大量的 ERP, CRM, IoT 以及 SaaS 等系统,由于企业文化、技术架构等是原因,这些系统并不连通,造成了数据孤岛现象,数据孤岛导致企业很难释放数据的力量,数据也无法发挥应用的价值,DaaS 可以解决当前日益严重的数据孤岛问题,通过 DaaS 的三大架构:实时数据采集同步+流式数据处理建模+ API 数据发布,就可以让孤立的数据随时可用了。以 Tapdata Real Time DaaS 架构为例:


DaaS 架构之一:实时数据采集同步


Tapdata 的第一步就是将批量、滞后的 ETL 换成了 CDC 方式,基于数据库 Write Ahead Log 日志同步监听的方式来进行在不同系统之间的数据复制,它的优势在于:对源库性能影响小;资源消耗少;从事务在源端提交开始到更新写入同步的目标库,延迟可以小于1秒,能够满足对实时性要求较高的业务场景;

实时数据采集同步


DaaS 架构之二:基于Pipeline的流式数据处理建模


当我们把需要的数据从源库里面无侵入、准实时地抽取了出来之后,可能还需要:对来自多个库的数据进行合并;对表结构进行重构,组成新的模型;构建业务宽表等。基于 Tapdata 实时流数据处理技术,可以实现事件触发、毫秒级数据更新、不间断持续运行,从而满足 TP 业务和实时分析等场景需求。


基于Pipeline的流式数据处理建模


DaaS 架构之三:低代码数据发布


经过对数据建模处理后,形成可复用的企业数据资产,再通过无代码快速发布RESTful API 和 Streaming API 提供给业务使用方,并能设置完善的权限管理机制。


tapdata-logo.jpg

Tapdata Real Time DaaS 是全球首个基于数据即服务(Data as a Service,简称 DaaS)架构理念、面向 OLTP 业务或场景的企业实时数据服务平台。申请试用:tapdata.net

推荐阅读