实时数据服务平台 Tapdata 产品简介

2021-05-21 10:00

Tapdata 实时数据服务平台产品是什么

Tapdata的实时数据开发平台产品系列可以帮助企业构建一站式实时数据开发及服务平台DaaS(Data as a service),为企业提供统一和完整的企业主数据层,能够在此基础上查询,分析和创新。Tapdata产品覆盖了企业数据使用过程中,所需要的各种步骤和工具。

产品系列结构图

Tapdata 实时数据开发平台与传统数仓、以及 Hadoop 平台对比

Tapdata 实时数据开发平台

贴近市场的前端业务有着迫切需求,但技术人员花在编写业务逻辑的时间通常只占20~30%。其余时间都是用在数据准备上。导入/导出、编写调度命令/脚本、寻找出错的任务、开发服务接口、排查数据质量问题等等,正是这些看似不起眼的“细枝末节”导致需求的响应速度慢,因此加快响应速度的根本就在于数据准备。

Tapdata 数据产品帮助企业解决了数据准备的全链路工作,让企业专注于前台业务创新,提高快速响应能力。

Tapdata 实时数据开发平台架构


Tapdata Replicator 数据同步

Tapdata Replicator 包括任务调度设计、监控、告警,模式匹配,故障自动转移、日志管理、断点续传,同步验证等功能。能够从各种数据库,比如Oracle、MySQL、SQLSever、DB2等;不同的流数据,比如Kafka、MQTT、Log、Socket等;不同的文件,比如Excel、CSV、XML、Binary等中采集数据。


基于Log的数据同步

- 图形化界面的任务设计,简单而直观
- 实时过程监测
- 断点续传
可视化编辑器让复杂的模式转换更加简单


- 基于源数据设计类型自动推荐目标数据模型
- 在可视化编辑器内手动微调数据模型
- 数据模型预览功能


Tapdata Replicator 特点

实时同步
- 基于数据日志文件,无需代理,
- 秒级同步DML 和DLL 操作

横向扩展
- 单节点每秒10万条数据吞吐量,
- 可扩展至多个节点
数据一致
- 在源端和目标端自动实施数据验证


双向同步
- 从关系型数据库到MongoDB,也可以从 MongoDB 到关系型数据库

Tapdata 数据治理和建模

Tapdata将数据治理和建模以产品化的形式呈现,帮助企业实现数据治理。

主要包括以下几个功能:

Mapping设计器:系统会根据关系型结构自动推荐映射关系,用户也可以直观拖拽的方式来定制化从关系型到JSON结构的映射规则,更提供即时JSON结构预览功能。

元数据管理: 对所有的应用打上标签,包括数据是从哪个应用的哪个数据库来的,数据类型是什么,业务是什么,后面对接的应用是什么。一旦上层的应用发现数据有错误,可以通过数据编目来进行数据溯源,或者血缘分析,可以追溯到表级别、记录级别甚至是字段级别。

数据质量:针对在数据采集或者同步过程中,一些不符合规则和要求的脏数据,进一步进行处理。

Tapdata API Server 数据 API 发布

Tapdata API Server主要承担对外提供数据服务的职责,是快速生成API和统一管理的高效工具。

数据管理者可利用产品化的配置工具生成各类API服务,监控调用及使用情况,让数据资产价值对外输出的过程中,做到数据服务过程可见、可管、可控。与此同时,对于API消费者,可以根据不同权限看见相关API,根据需求自助选取合适的API,极大的提高了使用效率与易用性。 应用架构如下图所示:

Tapdata API Sever 特点

图形化API 设计:图形化协助完成无代码API 设计

文档和测试:自动生成文档和测试

实时监测:谁使用了什么数据,频次。API 使用情况和状态一目了然

按需扩展:基于微服务的横向扩展架构


推荐阅读

Tapdata 推出“钛计划”公益项目,着力打通数据孤岛助推社会数字化升级

为响应数据要素市场化配置改革政策方向的指引,Tapdata 推出“钛计划”打通数据孤岛公益行动,面向非盈利机构(如各城市政务服务数据管理局、社会公益组织/项目等)以及为社会培养数据技术人才的相关培训机构,提供 Tapdata 实时数据服务平台的特殊免费授权,助推公共领域数据互通、共享与实时应用......

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata Cloud 是什么?

Tapdata Cloud 是钛铂数据自研的异构数据库实时同步工具 Tapdata Replicator 的云服务版本,现在免费提供所有开发者和企业使用Tapdata Cloud 目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 之间的数据迁移和同步,未来将陆续上线 DB2、Sybase ASE、Redis、Kafka 等。

什么是数据即服务(Data as a Service)?

数据即服务(DaaS)是一种数据管理策略,旨在利用数据作为业务资产来提高业务创新的敏捷性。它是自 1990 年代互联网高速发展以来越来越受欢迎的“一切皆服务”(XaaS)趋势下关于数据服务化的那一部分,介于 PaaS 和 SaaS 之间。与 SaaS 类似,DaaS 提供了一种方式来管理企业每天生成的大量数据,并在整个业务范围内提供这些有价值的信息,以便于进行数据驱动的商业决策。同时,我们也...

什么是数据虚拟化(Data Virtualization)?

本文将简单易懂地介绍数据虚拟化技术及数据虚拟化软件架构的实现方法,尽量避免教条主义。如需要了解虚拟化定义,可通过wiki 百科了解。先引用一段百度百科的文字来说明数据虚拟化的定义:数据虚拟化(data virtualization)是用来描述所有数据管理方法的涵盖性术语,这些方法允许应用程序检索并管理数据,且不需要数据相关的技术细节,例如它格式化的方式或物理位置所在。正如百科的定义,采用数据...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...
联络我们:
Email:team@tapdata.io    电话:0755-26656080
深圳市南山区临海大道香江金融中心 2410-13
官方服务号
Tapdata 微信公众号
扫码关注