Tapdata 技术博客
Tapdata 技术博客

Tapdata 面向开发者、数据工程师、DBA、应用架构师、数据架构师的典型应用场景

2022-07-08 16:11

Tapdata Live Data Platform 是新一代的实时数据平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式,为下游的交互式应用,微服务或交互式分析提供新鲜实时的数据。

Tapdata LDP 产品架构图

开发者、数据工程师、DBA、应用架构师、数据架构师等都是 Tapdata 的核心用户群,并拥有诸多典型的应用场景:


面向开发者和数据工程师


1. 构建实时数据管道

使用 CDC + Kafka + Flink 构建实时数据管道时,常常遇到:CDC 数据采集易错,Kafka 阻塞,链路排查困难等痛点。Tapdata 提供一个多合一的一体化体验,几分钟即可构建完整的数据采集+流转的管道。支持在 Tapdata 上使用基于事件触发的数据处理逻辑,至少一次的处理保证等,完成一个高可靠低延迟的数据管道任务。


2. 数据 ETL

Tapdata 可以用来替换 Kettle / Informatica 或者 Python 这样的 ETL 工具或脚本。基于 JS 或者 Python 的 UDF 功能可以无限扩展处理能力,分布式部署能力可以提供更高的处理性能,基于拖拉拽的新一代数据开发更加简便。支持通过自定义算子快速扩展平台的数据处理及加工能力。


3. 构建物化视图(宽表)

从大数据分析到数仓建设到 Dashboard,数据工程人员使用大量批处理任务来生成用于展现和分析的宽表或者视图。   这些宽表构建通常需要耗费大量资源,而且数据更新并不及时。Tapdata 可以以独特的增量宽表构建能力,以最小化的成本提供最新鲜的数据结果。


4. 实时入湖入仓

连接业务系统数据库和数据湖或者数据仓库,以连续的方式将业务系统的数据变动实时复制到数据湖或数仓,为实时分析提供新鲜的原始数据。


5. 实时指标计算

使用 Tapdata 的实时聚合计算能力,对来自日志、点击流或者数据库事件进行流式的统计计算,并得出不同的运营指标,如登录数,转化漏斗,VIP用户等。


6. 读写分离架构

当 MySQL 、SQLServer 等老一代关系型数据库不堪重负的时候,可以将数据同步到另一个 MySQL 或者 SQLServer 只读实例,然后在应用内向只读实例发起查询。


7. RDBMS 缓存加速   DB - Mongo/Redis/ES

Oracle、MySQL 的查询性能不够?Tapdata 可以实时将数据同步到 Redis / MongoDB / Elastic Search 等新一代 NoSQL 数据库来为你的系统提供高并发低延迟查询能力。


8. 事件驱动数据开发(Universal Trigger)

支持为业务数据库增加一个无性能影响的 Trigger 机制,使用 JS 脚本快速开发基于事件或者规则的数据逻辑。


9. 全文检索或图搜索   DB - ES/Neo4J/Nebula

Tapdata 可以把核心系统数据实时同步到 ES 或者图数据库,并在过程中使用数据转型能力建成想要的目标数据模型。


下载 Tapdata 安装包并试用



面向 DBA


1. 异构数据库同步

Tapdata 可以用来替换类似于 OGG/DSG 这样的同步工具,将数据从 Oracle 、MySQL 这样的数据库同步到同构或者异构类型的数据库。


2. 数据库容灾或异地备份

为企业的容灾提供异地数据复制、备份能力。


3. 数据库上云或者跨云同步

从线下到云上,从云上到线下,或者几个不同的云厂商之间,Tapdata 能够提供数据的无缝迁移和同步。


下载 Tapdata 安装包并试用



面向应用架构师


1. 全渠道商品中心/统一订单中心

大型企业往往有不同业务线,由不同 IT 部门支撑,并且有线上线下等不同渠道。Tapdata 可以打通各个业务系统,将商品,客户,订单,库存,会员等信息并进行统一,加速全渠道营销应用/系统快速上线,为最终客户提供全渠道商品检索,订购和售后的最佳体验。


2. 360度客户视图

客户信息在多套 CRM 系统维护,信息不一致,更新不及时,无法有效进行 cross sale 和 upsale,客户服务体验差,没有统一的入口管理客户信息。Tapdata 能够准确统一客户信息,快速构建客户 360 视图,从而提高客户体验。


3. 传统系统升级

企业在信息化进程中,往往烟囱式开发多个信息系统,彼此难以互通,且由于建设历史久远牵一发而动全身,系统升级改造难度极大。Tapdata 能够在不影响原有系统的基础上,为企业提供新系统上线所需的实时、完整的底层数据,实现传统系统平滑升级。


下载 Tapdata 安装包并试用



面向数据架构师


1. 实时主数据服务平台 Active Master Data Platform

传统的主数据管理采用T+1的方式从业务系统获取源数据,加工处理后形成企业的标准数据, 并通过导出方式输送到业务系统使用。这种方案的局限性在于数据更新较为滞后。Tapdata 的实时主数据方案允许用户用实时数据管道及强大的 UDF 功能让用户可以简单的实现去重、规则判断等主数据治理功能。端到端的秒级延迟 + 自动API 服务意味着客户直接从Tapdata 获取需要的主数据。


2. 实时数据服务平台 Incremental Data as a Service

数字化转型过程中企业需要构建大量新型业务,这些业务往往需要来自其他业务系统的数据。传统的方式是通过 ETL 将数据搬运至新业务系统数据库,这种基于 ETL 的方案有比较大的局限性,如链路繁杂,无法复用,大量的数据链路对源端产生影响较大等。Tapdata 的实时数据服务可以通过将数据做最后一次 ETL,同步到基于MongoDB 的分布式数据平台,结合无代码 API,可以为众多下游业务直接在数据平台提供快速的数据API支撑。


3. 数据编织 Data Fabric

数据编织是 Gartner 报告上最新的企业统一数据架构。类似数据中台,数据编织通过对各种各样的企业数据系统的无代码连接和打通,以数据复制或是通过数据联邦方式,快速智能的在数据系统之间建立便捷的访问通道。

Tapdata 自带数十种常用数据源的实时连接能力,结合低代码拖拉拽的数据管道开发能力及对数十种常用数据库无代码快速构建 API 的能力,可以用来为数据编织架构提供一个完整的工具支撑。


下载 Tapdata 安装包并试用 →

推荐阅读