相约 DTCC 2021 | Tapdata 受邀分享:如何打造面向 TP 业务的数据平台架构

2021-10-13 12:17

2021第十二届中国数据库技术大会(DTCC)将于2021年10月18-20日,在北京国际会议中心举行,Tapdata 创始人唐建法受邀分享:如何打造面向 TP 业务的数据平台架构。


演讲时间:2021年10月20日 09:40-10:20

演讲地点:北京国际会议中心(专场11:[ 企业数据中台设计与实践 ])

演讲主题:Real Time DaaS - 面向TP业务的数据平台架构


从20年前的传统数仓,到10年前大数据平台,5年前开始火热的数据中台以及最近出现的湖仓一体新数据平台,今天被数据孤岛困扰的企业,面临着太多的选择。这些数据产品及架构有一个共性:就是他们都是为本质上解决的都是分析洞察类场景,所谓的 AP 场景(Analytical Processing)。但是实际上,企业在 TP 类型业务上的投入和 AP 相比是9:1。为什么没有为TP业务的数据平台呢?Tapdata 创始人唐建法将从下面几个角度来剖析原因并介绍一个适合 TP 业务的 Real Time DaaS 数据架构:

  1. AP业务场景 vs. TP 业务场景

  2. 常见AP型数据平台:数仓、大数据平台、云数仓

  3. 数据中台,最难解释的一个数据架构

  4. 面向TP型数据平台:a)为什么需要   b)技术特征

  5. Real Time DaaS:为TP业务打造的数据架构

  6. 技术核心:

     a)基于实时复制的数据虚拟化技术

     b)基于索引的分布式数据库存储

     c)主数据管理能力

     d)统一数据接口及自助式服务

  1. Real Time DaaS 架构特性和优势

  2. Real Time DaaS 实战案例

Tapdata 创始人唐建法.jpg


Tapdata 创始人唐建法(TJ)是一名具有多年海内外工作经验的架构师、数据库专家和开源软件推广者。TJ 在回国之前,曾在北美留学并工作多年,涉及的技术栈包括 Java, Javascript, Python, MongoDB 等,并且是开源软件 angoose 的作者。回到中国以后,TJ 和阿里、百度、360等互联网公司的 MongoDB 爱好者共同创建了 MongoDB 中文社区并发展成了拥有数万名成员的世界上最大的 MongoDB 技术社区。在过去几年中,MongoDB 中文社区累计输出了数百篇技术博客,数十场线下技术大会以及维护着最完整的MongoDB中文文档。TJ 在2019年创立了Tapdata,一家专注于实时数据服务的创新技术公司,核心团队来自 MongoDB 和 BAT。


Tapdata 是全球首个基于数据即服务(Data as a Service,简称 DaaS)架构理念、面向 TP 业务或场景的企业实时主数据服务平台,具备行业领先的技术优势:基于数据同步的虚拟化、流处理引擎 + 可视化数据开发平台、低代码API发布能力、异构数据源统一访问框架等,能够帮助企业快速打通数据孤岛,构建主数据服务平台,为新业务提供统一、完整、实时的数据,并且支持十万级并发和毫秒级响应,直接应用到TP业务系统,切中企业的核心运营价值链。


目前,Tapdata 已服务包括周生生、中国移动、中国南方电网、中国一汽、富邦银行、罗辑思维等数十家行业标杆企业,并与MongoDB、TiDB、SequoiaDB、亚信科技、中国移动、达成战略合作。Tapdata 产品的稳定性、扩展性、灵活性、易用性等方面经过了多种业务场景的验证,并得到了客户和合作伙伴的一致认可。


进一步了解 Tapdata 实时数据服务平台,更多技术文章可前往 Tapdata 技术博客。Tapdata 自研的异构数据库实时同步工具—— Tapdata Cloud ,现已免费开放给技术开发者使用,目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 、达梦、Kafka等主流库之间的数据迁移和同步,即将支持 DB2、Sybase ASE、Redis、GBase、GaussDB 等。


推荐阅读

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

解锁5大应用场景,最新实时同步实现方案分享

数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

什么是数据即服务(Data as a Service)?

数据即服务(DaaS)是一种数据管理策略,旨在利用数据作为业务资产来提高业务创新的敏捷性。它是自 1990 年代互联网高速发展以来越来越受欢迎的“一切皆服务”(XaaS)趋势下关于数据服务化的那一部分,介于 PaaS 和 SaaS 之间。与 SaaS 类似,DaaS 提供了一种方式来管理企业每天生成的大量数据,并在整个业务范围内提供这些有价值的信息,以便于进行数据驱动的商业决策。同时,我们也...

什么是数据虚拟化(Data Virtualization)?

本文将简单易懂地介绍数据虚拟化技术及数据虚拟化软件架构的实现方法,尽量避免教条主义。如需要了解虚拟化定义,可通过wiki 百科了解。先引用一段百度百科的文字来说明数据虚拟化的定义:数据虚拟化(data virtualization)是用来描述所有数据管理方法的涵盖性术语,这些方法允许应用程序检索并管理数据,且不需要数据相关的技术细节,例如它格式化的方式或物理位置所在。正如百科的定义,采用数据...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...
联络我们:
Email:team@tapdata.io    电话:0755-26656080
深圳市南山区临海大道香江金融中心 2410-13(总部)
全国分部:北京/上海/广州/杭州/成都/武汉/西安
官方服务号
Tapdata 微信公众号
扫码关注