Tapdata 技术博客
Tapdata 技术博客

如何使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步

2022-01-11 17:06

摘要:很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。Tapdata Cloud是一款免费的实时数据同步工具 ,可以非常方便地完成SQL Server数据实时同步到ADB MySQL,跟大家分享一下,希望对你有帮助。

本次SQL Server数据实时同步到ADB MySQL大概只花了几分钟就完成。使用的工具是Tapdata Cloud ,这个工具是永久免费的。



第一步:配置SQL Server连接

  1. 点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择SQL Server

配置SQL Server连接

  1. 在打开的连接信息配置页面依次输入需要的配置信息

SQL Server配置信息

【连 接 名 称】:设置连接的名称,多个连接的名称不能重复

【连接类型】:

  • 源头和目标:此数据连接在Tapdata中能同时作为源和目标使用

  • 源头:此数据连接在Tapdata中只能作为源使用,不能作用为目标

  • 目标:此数据连接在Tapdata中只能作为目标使用,不能作用为源

【数据库地址】:数据库 IP / Host

【端          口】:数据库端口

【数据库名称】:tapdata 数据库连接是以一个 db 为一个数据源。这里的 db 是指一个数据库实例中的 database,而不是一个 schema。

【账          号】:可以访问数据库的账号

【密          码】:数据库账号对应的密码

【Schema】:数据库的schema

【时 间 时 区】:默认使用该数据库的时区;若指定时区,则使用指定后的时区设置


第二步:配置ADB MySQL 连接

  1. 同第一步操作,点击左侧菜单栏的【连接管理】,然后点击右侧区域【连接列表】右上角的【创建连接】按钮,打开连接类型选择页面,然后选择 ADB MySQL

配置ADB MySQL 连接

  1. 在打开的连接信息配置页面依次输入需要的配置信息,配置完成后测试连接保存即可。

ADB MySQL配置信息


第三步:选择同步模式-全量/增量/全+增

进入Tapdata Cloud 操作后台任务管理页面,点击添加任务按钮进入任务设置流程

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的选择同步模式

根据刚才建好的连接,选定源端与目标端。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的选定源端和目标端

根据数据需求,选择需要同步的库、表,如果你对表名有修改需要,可以通过页面中的表名批量修改功能对目标端的表名进行批量设置。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的映射设置

在以上选项设置完毕后,下一步选择同步类型,平台提供全量同步增量同步全量+增量同步,设定写入模式和读取数量。

如果选择的是全量+增量同步在全量任务执行完毕后,Tapdata Agent 会自动进入增量同步状态。在该状态中,Tapdata Agent 会持续监听源端的数据变化(包括:写入、更新、删除),并实时的将这些数据变化写入目标端。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的任务设置

点击任务名称可以打开任务详情页面,可以查看任务详细信息。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的任务名称

点击任务监控可以打开任务执行详情页面,可以查看任务进度/里程碑等的具体信息。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的任务监控


第四步:进行数据校验

一般同步完成后,我都习惯性进行一下数据校验,防止踩坑。

Tapdata Cloud 有三种校验模式,我常用最快的快速count校验 ,只需要选择到要校验的表,不用设置其他复杂的参数和条件,简单方便。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的快速count校验

如果觉得不够用,也可以选择表全字段值校验 ,这个除了要选择待校验表外,还需要针对每一个表设置索引字段。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的表全字段值校验

在进行表全字段值校验时,还支持进行高级校验。通过高级校验可以添加JS校验逻辑,可以对源和目标的数据进行校验。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的高级校验

还有一个校验方式关联字段值校验 ,创建关联字段值校验时,除了要选择待校验表外,还需要针对每一个表设置索引字段。

使用Tapdata Cloud 实现SQL Server到ADB MySQL数据实时同步的关联字段值校验

以上就是 SQL Server数据实时同步到ADB MySQL的操作分享,希望上面的操作分享对你有帮助!


其他数据库数据实时同步到   Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、Dummy DB 的方式也都是先配置源和目标的连接,然后新建任务选择同步模式:全量/增量/全量+增量,因为步骤相同,其他就不再贴图说明了。Tapdata Cloud 是承诺永久免费使用的,不过要求更高、有预算的朋友也可以使用企业版,具体可访问Tapdata 官网:tapdata.net,还可以申请试用。


基于 Tapdata Cloud 实现SQL Server到Elasticsearch跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到MySQL跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到SQL Server实时数据同步

基于 Tapdata Cloud 实现SQL Server到MongoDB跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到PostgreSQL跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到DM DB跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到Kafka跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到Oracle跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到Greenplum跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到MQ跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到ClickHouse跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到KunDB跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到ADB MySQL跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到ADB PostgreSQL跨平台实时数据同步

基于 Tapdata Cloud 实现SQL Server到Hazelcast Cloud跨平台实时数据同步



推荐阅读