Tapdata 技术博客
Tapdata 技术博客

如何跨平台实现实时数据同步MongoDB到GreenPlum

2022-03-10 10:48

摘要:MongoDB 是通用、基于文档的分布式数据库,适用于现代应用程序的数据库。目前仍有非常多的应用系统是以GreenPlum数据库进行存储的,难免会遇到将 MongoDB 数据同步到GreenPlum的场景。如何快速实现这一目标,借助 Tapdata Cloud 这款工具就可以实现数据从 MongoDB 数据库到 GreenPlum的实时数据同步。


感兴趣的朋友可以直接访问:https://tapdata.net/tapdata-cloud.html ,这个工具是免费开放的,支持复制生产、不停机迁移数据库,加速数据全文搜索,构建只读实例、实时数仓构、云上云下/多云数据生态等场景,满足日益复杂的业务发展要求,可以直接登录使用。


第一步:配置 MongoDB 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 MongoDB

配置MongoDB连接


  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。

MongoDB配置信息


【连 接 名 称】:设置连接的名称,多个连接的名称不能重复

【连接类型】:

  • 源头和目标:此数据连接在Tapdata中能同时作为源和目标使用

  • 源头:此数据连接在Tapdata中只能作为源使用,不能作用为目标

  • 目标:此数据连接在Tapdata中只能作为目标使用,不能作用为源

【数据库地址】:输入数据库的URI地址

【使用TLS/SSL连接】:设置使用TLS/SSL连接还是直接连接。

连接信息配置完成后,点击【连接测试】测试连接,连接测试通过后保存连接即可


第二步:配置 Greenplum 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 Greenplum

配置 Greenplum 连接


  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。


第三步:选择同步模式-全量/增量/全+增

进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程

跨平台实现实时数据同步MongoDB到GreenPlum任务管理配置


根据刚才建好的连接,选定源端与目标端。

跨平台实现实时数据同步MongoDB到GreenPlum选定源端和目标端


根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。

跨平台实现实时数据同步MongoDB到GreenPlum选定库和表


在以上选项设置完毕后,下一步选择同步类型,平台提供全量同步增量同步全量+增量同步,设定写入模式和读取数量。

如果选择的是全量+增量同步在全量任务执行完毕后,Tapdata Agent 会自动进入增量同步状态。在该状态中,Tapdata Agent 会持续监听源端的数据变化(包括:写入、更新、删除),并实时的将这些数据变化写入目标端。

跨平台实现实时数据同步MongoDB到GreenPlum选择同步类型


点击任务名称可以打开任务详情页面,可以查看任务详细信息。

跨平台实现实时数据同步MongoDB到GreenPlum查看任务详情


点击任务监控可以打开任务执行详情页面,可以查看任务进度/里程碑等的具体信息。

跨平台实现实时数据同步MongoDB到GreenPlum查看运行监控



第四步:进行数据校验

Tapdata Cloud 有三种校验模式,我常用最快的快速count校验 ,只需要选择到要校验的表,不用设置其他复杂的参数和条件,简单方便。

跨平台实现实时数据同步MongoDB到GreenPlum快速count校验


至此,MongoDB中的数据已经被成功同步到GreenPlum,低代码的配置页面简直不要太友好,数据同步也是实时的。


实操下来最直观的感受就是Tapdata Cloud的配置操作非常灵活简单。简洁的可视化界面,使用了目前非常流行的拖拉拽的操作方式来实现数据的自动同步,即使是不会编程的普通业务人员也能进行完整的操作,而对于有编程基础的业内人员来说,则可以大大的节省时间和精力。以建表这个功能为例,用户无需关心复杂的表结构,直接在操作台选择所需同步的目标表,省去了非常多不必要的麻烦,摆脱平日束缚,更多专注于核心业务。此外,所有操作都是在Tapdata Cloud上完成,Tapdata Cloud 采用 TCM + Tapdata Agent 架构,用户数据不流经平台即可达到数据同步,有相当不错的安全性。在用户体验上,也可以给到不错的评分。

跨平台实现实时数据同步MongoDB到GreenPlum用户环境图


当然,对于工具是否好用的问题我们已经得出了肯定的答案,但它到底是否适合你的业务数据,只有自己去体验一下才能知道了。


其他数据库的同步操作

其他数据库数据实时同步到 Elasticsearch 、Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接,然后新建任务选择同步模式:全量/增量/全量+增量,因为步骤相同,其他就不再贴图说明了。Tapdata Cloud 是永久免费使用的,不过要求更高、有预算的朋友也可以使用企业版,具体可访问Tapdata 官网:tapdata.net,还可以申请试用。

如何跨平台实现实时数据同步MongoDB到Elasticsearch

如何跨平台实现实时数据同步MongoDB到MySQL

如何跨平台实现实时数据同步MongoDB 到SQL Server

如何跨平台实现实时数据同步MongoDB 到MongoDB

如何跨平台实现实时数据同步MongoDB 到PostgreSQL

如何跨平台实现实时数据同步MongoDB到DM DB

如何跨平台实现实时数据同步MongoDB 到Kafka

如何跨平台实现实时数据同步MongoDB 到Oracle

如何跨平台实现实时数据同步MongoDB到GreenPlum

如何跨平台实现实时数据同步MongoDB到MQ

如何跨平台实现实时数据同步MongoDB 到ClickHouse

如何跨平台实现实时数据同步MongoDB到KunDB

如何跨平台实现实时数据同步MongoDB到ADB PostgreSQL

如何跨平台实现实时数据同步MongoDB到Hazelcast Cloud

如何跨平台实现实时数据同步MongoDB到TiDB

如何跨平台实现实时数据同步MongoDB到Dummy DB



推荐阅读

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下,国内疫情防控工作渐趋规范化、常态化,各类防疫应用和手段层出不穷,防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案,助力张家港市卫健委高效落地疫情防控数字化,实现精准防疫。

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB等十余家厂商首批加入

2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,Doris、OceanBase、PolarDB、SequoiaDB、Aerospike 、GBase、HotDB、KunlunDB、MongoDB、Nebula、vika 、DataStax、极数云舟等首批加入,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。

解锁5大应用场景,最新实时同步实现方案分享

数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集, 业界经常遇到了包括:对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中,获得了一些不错的经验和思考,本文将分享 Tapdata 自研的 TAP-CDC-CACHE,和其他几种市面常见的解决方案的优势和特性。

搭建企业级实时数据融合平台难吗?Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台?Tapdata 已经找到了最佳实践,下文将以 Tapdata 的零售行业客户为例,与您分享:基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。