Tapdata 技术博客
Tapdata 技术博客

如何跨平台实现实时数据同步MongoDB到SQL Server

2022-03-09 18:07

摘要:MongoDB 是通用、基于文档的分布式数据库,适用于现代应用程序的数据库。目前仍有非常多的应用系统是以 SQL Server 数据库进行存储的,难免会遇到将 MongoDB 数据同步到 SQL Server的场景。如何快速实现这一目标,借助 Tapdata Cloud 这款工具就可以实现数据从 MongoDB 数据库到 SQL Server的实时数据同步。


感兴趣的朋友可以直接访问:https://tapdata.net/tapdata-cloud.html ,这个工具是免费开放的,支持复制生产、不停机迁移数据库,加速数据全文搜索,构建只读实例、实时数仓构、云上云下/多云数据生态等场景,满足日益复杂的业务发展要求,可以直接登录使用。


第一步:配置 MongoDB 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 MongoDB

配置MongoDB连接

  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。

MongoDB配置信息

【连 接 名 称】:设置连接的名称,多个连接的名称不能重复

【连接类型】:

  • 源头和目标:此数据连接在Tapdata中能同时作为源和目标使用

  • 源头:此数据连接在Tapdata中只能作为源使用,不能作用为目标

  • 目标:此数据连接在Tapdata中只能作为目标使用,不能作用为源

【数据库地址】:输入数据库的URI地址

【使用TLS/SSL连接】:设置使用TLS/SSL连接还是直接连接。

连接信息配置完成后,点击【连接测试】测试连接,连接测试通过后保存连接即可


第二步:配置 SQL Server 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 SQL Server

配置 SQL Server 连接

  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。

SQL Server配置信息


第三步:选择同步模式-全量/增量/全+增

进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程

跨平台实现实时数据同步MongoDB 到SQL Server的任务管理配置

根据刚才建好的连接,选定源端与目标端。

跨平台实现实时数据同步MongoDB 到SQL Server选定源端和目标端

根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。

跨平台实现实时数据同步MongoDB 到SQL Server选定库和表

在以上选项设置完毕后,下一步选择同步类型,平台提供全量同步增量同步全量+增量同步,设定写入模式和读取数量。

如果选择的是全量+增量同步在全量任务执行完毕后,Tapdata Agent 会自动进入增量同步状态。在该状态中,Tapdata Agent 会持续监听源端的数据变化(包括:写入、更新、删除),并实时的将这些数据变化写入目标端。

跨平台实现实时数据同步MongoDB 到SQL Server选择同步类型

点击任务名称可以打开任务详情页面,可以查看任务详细信息。

跨平台实现实时数据同步MongoDB 到SQL Server查看任务详情

点击任务监控可以打开任务执行详情页面,可以查看任务进度/里程碑等的具体信息。

跨平台实现实时数据同步MongoDB 到SQL Server查看运行监控


第四步:进行数据校验

Tapdata Cloud 有三种校验模式,我常用最快的快速count校验 ,只需要选择到要校验的表,不用设置其他复杂的参数和条件,简单方便。

跨平台实现实时数据同步MongoDB 到SQL Server快速count校验

至此,MongoDB中的数据已经被成功同步到SQL Server,低代码的配置页面简直不要太友好,数据同步也是实时的。


实操下来最直观的感受就是Tapdata Cloud的配置操作非常灵活简单。简洁的可视化界面,使用了目前非常流行的拖拉拽的操作方式来实现数据的自动同步,即使是不会编程的普通业务人员也能进行完整的操作,而对于有编程基础的业内人员来说,则可以大大的节省时间和精力。以建表这个功能为例,用户无需关心复杂的表结构,直接在操作台选择所需同步的目标表,省去了非常多不必要的麻烦,摆脱平日束缚,更多专注于核心业务。此外,所有操作都是在Tapdata Cloud上完成,Tapdata Cloud 采用 TCM + Tapdata Agent 架构,用户数据不流经平台即可达到数据同步,有相当不错的安全性。在用户体验上,也可以给到不错的评分。

跨平台实现实时数据同步MongoDB 到SQL Server用户环境图

当然,对于工具是否好用的问题我们已经得出了肯定的答案,但它到底是否适合你的业务数据,只有自己去体验一下才能知道了。


其他数据库的同步操作

其他数据库数据实时同步到 Elasticsearch 、Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接,然后新建任务选择同步模式:全量/增量/全量+增量,因为步骤相同,其他就不再贴图说明了。Tapdata Cloud 是永久免费使用的,不过要求更高、有预算的朋友也可以使用企业版,具体可访问Tapdata 官网:tapdata.net ,还可以申请试用。

如何跨平台实现实时数据同步MongoDB到Elasticsearch

如何跨平台实现实时数据同步MongoDB到MySQL

如何跨平台实现实时数据同步MongoDB 到SQL Server

如何跨平台实现实时数据同步MongoDB 到MongoDB

如何跨平台实现实时数据同步MongoDB 到PostgreSQL

如何跨平台实现实时数据同步MongoDB到DM DB

如何跨平台实现实时数据同步MongoDB 到Kafka

如何跨平台实现实时数据同步MongoDB 到Oracle

如何跨平台实现实时数据同步MongoDB到GreenPlum

如何跨平台实现实时数据同步MongoDB到MQ

如何跨平台实现实时数据同步MongoDB 到ClickHouse

如何跨平台实现实时数据同步MongoDB到KunDB

如何跨平台实现实时数据同步MongoDB到ADB PostgreSQL

如何跨平台实现实时数据同步MongoDB到Hazelcast Cloud

如何跨平台实现实时数据同步MongoDB到TiDB

如何跨平台实现实时数据同步MongoDB到Dummy DB



推荐阅读