Tapdata 技术博客
Tapdata 技术博客

实时数据同步之多表同步-追加写入 | Tapdata

2021-11-10 20:54 Tapdata

存量数据完成同步后，新的增量数据如何进行实时同步？ Tapdata Real Time DaaS 的增量数据实时同步功能可以解决这一问题。以下为具体操作步骤：


一、追加写入

步骤一、点击左侧数据采集导航菜单，进入任务列表界面

步骤二、点击右侧创建按钮，进入任务编排界面

步骤三、拖数据节点设置源表和目标表

步骤四、连接源表和目标表，设置右侧写入方式


Tapdata Real Time DaaS 增量数据实时同步操作界面


完成上述步骤后，即可将源表POLICY中的所有数据，都插入到目标表CAR_POLICY中去。



二、更新已存在或插入新数据

创建源和目标连接

{% content-ref url="../../data-source/create-collection/" %}
create-collection
{% endcontent-ref %}


步骤一、点击左侧数据采集导航菜单，进入任务列表界面

步骤二、点击右侧创建按钮，进入任务编排界面

步骤三、拖数据节点设置源表和目标表

步骤四、连接源表和目标表，设置右侧写入方式


Tapdata Real Time DaaS 增量数据实时同步操作界面2


如上图所示，如果CAR_POLICY表中还有POLICY表中的记录，会根据POLICY表中的记录更新CAR_POLICY中对应的记录。如果POLICY表中的数据CAR_POLICY表中不存在，则直接插入到目标表中！


三、更新写入

步骤一、点击左侧数据采集导航菜单，进入任务列表界面

步骤二、点击右侧创建按钮，进入任务编排界面

步骤三、拖数据节点设置源表和目标表

步骤四、连接源表和目标表，设置右侧写入方式

Tapdata Real Time DaaS 增量数据实时同步操作界面3


如果目标表存在和原表相同的记录，会根据源表数据的变更而变更！


Tapdata Real Time DaaS 是集数据实时同步，可视化 ETL 及数据开发、数据治理及低代码 API 发布为一体的实时数据服务平台，支持私有化部署。免费试用：tapdata.net‍  

查看完整产品文档：https://tapdata.net/docs-tapdata-enterprise.html


分享
微信
新浪微博
QQ
QQ空间
豆瓣网
百度贴吧
开心网
复制链接
脸书
推特
领英
推荐阅读

瓜分 28 万现金大奖，Tapdata 数据源 Connector 大赛等你来战

Tapdata 数据源 Connector 挑战赛（第一届）火热进行中！积累开发经验，瓜分28万现金大奖，我们在这里，等一个热爱技术的你！

Tapdata 的 2.0 版 ，开源的 Live Data Platform 现已发布

Tapdata Live Data Platform 发布会演讲精华总结+直播回放！阅读文章详情，获取首批体验官专属权益！时代为何需要一个全新的实时数据架构？Tapdata 技术架构有何优势和特性？Tapdata 的开源路线图又是怎样？

Tapdata 面向开发者、数据工程师、DBA、应用架构师、数据架构师的典型应用场景

Tapdata Live Data Platform 是新一代的实时数据平台，通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式，为下游的交互式应用，微服务或交互式分析提供新鲜实时的数据。开发者、数据工程师、DBA、应用架构师、数据架构师等都是 Tapdata 的核心用户群，并拥有诸多典型的应用场景......

Tapdata 杨哲轩：数据孤岛何去何从，主数据管理能药到病除么？

数据孤岛是熵增，而主数据管理则是熵减，如果一开始的主数据没定义好，再回头返工把主数据和主数据管理的这些基础设施工作做好，将导致数字化转型项目开展到深水区之后便更加困难重重，一款好的主数据管理软件，可以让主数据管理在企业中落地时事半功倍的，而高层支持以及对主数据和主数据管理有正确的认知，则能够一起推动企业的变革。

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下，国内疫情防控工作渐趋规范化、常态化，各类防疫应用和手段层出不穷，防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案，助力张家港市卫健委高效落地疫情防控数字化，实现精准防疫。

“数聚赋能”，让实时数据中台成为惠企、惠民政策服务应用的源头活水

拆除数据烟囱，加速落成实时数据共享、交换中心，Tapdata 凭借实时数据服务领先的技术优势，助力某市大数据局盘活数据资源，实现各政务部门通过数据接口快速调用中心数据，高效、低成本上线所需的政务服务应用。

Tapdata 在线研讨会：DaaS vs 大数据平台，是竞争还是共处？

我们为什么需要一个Real Time DaaS？它和大数据平台技术上有什么区别？如果企业还没有构建数据平台，我是应该考虑DaaS还是Big Data？如果已经有了大数据平台，我是否还需要DaaS？如果你想了解更多，请参加本次的在线研讨会。

下一个十年，你还在用 Big Data 搭建数据中台吗？

数据中台的存在是有合理性的，企业需要中台帮助他们来有效管理企业的数据资产，为业务所用。但在经历过大数据时代的热度之后，你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面：打通企业内部的孤岛数据，在中台构建共享模型，以API方式快速发布数据服务...

DTCC 干货分享：Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日，Tapdata 创始人唐建法（TJ）受邀出席 DTCC 2021（中国数据库技术大会）,并在企业数据中台设计与实践专场上，发表主旨演讲“Real Time DaaS ：打造面向 TP+AP 业务的数据平台架构”，从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度，全面分享了 Tapdata 在全链路实时数据融...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术，在数据库迁移和同步方面，Tapdata 的表现非常优秀，实时、多元、异构，尤其在关系数据库到非关系数据库之间的双向同步方面，无论是从操作上，还是效率上，都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统，成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力，实现了对市系统数据的实时推送和拉取，以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心，实现： - 支持中国大陆港澳台的上千家门店的生产环境； - 使用JS脚本来进行流处理计算，业务需求从开发到上线过程快至 1 天以内； - 任务配置与执行监测全程可视化操作，不懂技术也能完成操作，极大降低维护成本； - 一套产品可满足不同需求，根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择，将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB； 使用Tapdata Replicator的CDC技术，实时监听现有业务库的数据变动并同步至MongoDB； 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构，并保持和源库的高度数据一致； 在MongoDB上进行新业务的开发。

搭建企业级实时数据融合平台难吗？Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台？Tapdata 已经找到了最佳实践，下文将以 Tapdata 的零售行业客户为例，与您分享：基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。

Tapdata肖贝贝：实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝：实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集， 业界经常遇到了包括：对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中，获得了一些不错的经验和思考，本文将分享 Tapdata 自研的 TAP-CDC-CACHE，和其他几种市面常见的解决方案的优势和特性。