TapData 信创数据源 | 国产信创数据库 TDengine 数据同步指南，加速国产化进程，推进自主创新建设

国产化浪潮之下，基础软件自主可控迫在眉睫，越来越多的国内企业开始从 Oracle、MySQL   这一类海外数据库向国产数据库迁移，TapData 的能力恰好满足企业快速、无痛实现迁移的需求，有效推动信创行业国产化建设更进一步。信创领域和基础软件设施的自主可控作为国家重点关注领域，全面国产化替代的进程仍在全速前进中。

同为国产基础软硬件生态的积极建设者，TapData 一直以来都在坚持拓展并持续深化与更多国产信创数据库的生态与战略伙伴关系，以期推动更多行业数据管理解决方案及创新应用的落地，提供更加广泛的基础设施选择及技术服务保障，从而为加速国产软硬件产品的应用普及与协同发展贡献力量。纯国产自研的背景更是为 TapData 的这一发展目标添翼。目前，TapData 已成功实现对主流国产数据库的广泛支持，以 TDengine 为例：

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB   级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测、预警，提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库   TDengine OSS。

此外，作为 2024年8月墨天轮中国数据库流行度排行榜上的时序数据库 Top1，TDengine 广泛适用于 IoT、工业互联网、车联网、IT 运维、能源、金融证券等领域场景。截至目前，已在 GitHub 上获得 23.1k Star，曾多次在 GitHub 全球趋势排行榜上排名第一，全球运行的 TDengine 实例数超过 588.4k，用户遍布全球。

那么，如何高效实现 TDengine 的数据同步？

一、TDengine 数据迁移与同步方案

更多详情，参见《TDengine 产品文档》：https://docs.taosdata.com/

关于 TDengine 的迁移和同步，有多种适用的方案和工具可供选择，其中比较常见的包括手动方案，以及基于 DataX 或是 TapData 这一类数据同步工具的现代化数据解决方案。

手动迁移与同步

手动迁移与同步是最基本的方案，通常适用于小规模数据迁移或一次性数据迁移任务。该方法涉及从源数据库导出数据，通过脚本或工具将数据转换为 TDengine 兼容的格式，最后将数据导入 TDengine。尽管手动方案可以完全控制迁移过程，但其操作也相对复杂，容易出现错误，且不适合大规模数据迁移或需要频繁同步的场景。

手动迁移数据需要注意以下两个问题：

1）在磁盘中存储导出数据时，磁盘需要有足够的存储空间以便能够充分容纳导出的数据文件。为了避免全量数据导出后导致磁盘文件存储紧张，可以采用部分导入的模式，对于归属于同一个超级表的时间线优先导出，然后将导出部分的数据文件导入到 TDengine 系统中。

2）在系统全负载运行下，如果有足够的剩余计算和 IO 资源，可以建立多线程的导入机制，最大限度地提升数据迁移的效率。考虑到数据解析对于 CPU 带来的巨大负载，需要控制最大的并行任务数量，以避免因导入历史数据而触发的系统整体过载。

基于数据同步工具的解决方案

• DataX

DataX 是阿里云 DataWorks 数据集成的开源版本，支持多种数据源与目标之间的数据迁移与同步。通过配置 DataX，可以实现从关系型数据库、Hadoop、NoSQL 等多种数据源向 TDengine 的数据同步。DataX 提供了简洁的 JSON 配置方式，用户只需定义源数据、目标数据和转换逻辑即可。DataX 适合需要频繁同步且数据量较大的场景，但对实时性要求较高的场景支持有限。

除此之外，为了方便历史数据的迁移工作，TDengine 为 DataX 提供了适配 TDengine 3.0 的插件—— TDengine30Reader 和 TDengine30Writer，能够将数据自动写入到 TDengine 中，需要注意的是 DataX 的自动化数据迁移只能够支持单值模型的数据迁移过程。目前可以做到 OpenTSDB、MySQL、TDengine(Time Series DataBase,TSDB) 等不同数据源之间的数据迁移。

TDengine30Reader 提供的功能：

1. 支持通过 SQL 进行数据筛选；

2. 根据时间间隔进行任务切分；

3. 支持 TDengine 的全部数据类型；

4. 支持批量读取，通过 batchSize 参数控制批量拉取结果集的大小，提高读取性能。

TDengine30Writer 支持的功能：

1. 支持 OpenTSDB 的 json 格式的行协议，使用 TDengine 的 schemaless 方式写入 TDengine。

2. 支持批量写入，通过 batchSize 参数控制批量写入的数量，提高写入性能。

• TapData

TapData 专注于激发实时数据的应用价值，是一款以低延迟数据移动为核心优势构建的现代数据平台型工具，以出色的 CDC（Change Data Capture，变更数据捕获）能力和集中数据中心架构为关键特性，旨在以新颖的方式解决长期存在的数据集成问题。TapData 内置 100+ 数据连接器，支持多种数据源和目标之间的实时数据集成，且具有高度的可扩展性和自动化特性。其可视化配置界面简化了复杂的数据同步流程，适合企业级的实时数据集成需求。

• DataX vs Dataworks vs TapData

① 前提条件

由于TapData 采用 REST 方式连接至 TDengine，在配置连接前，您需要在 TDengine 所属服务器上执行 sudo systemctl start taosadapter 命令开启 taosAdapter 服务。

*提示：如希望 TapData 读取 TDengine 的增量数据，您还需要在 Agent 所属服务器上安装 TDengine 客户端驱动。

② 创建 TDengine 的连接

1. 进入 TapData 控制台，在左侧导航栏，单击连接管理。

2. 单击页面右侧的创建，在弹框中，搜索并选择 TDengine。

3. 在跳转到的页面，根据下述说明填写 PolarDB 连接信息：

• 连接名称：填写具有业务意义的独有名称。

• 连接类型：支持同时作为源或目标。

• 地址：填写数据库的连接地址。

• 端口：填写 taosAdapter 的服务端口，默认为 6041。

• 数据库：数据库名称，一个连接对应一个数据库，如有多个数据库则需创建多个数据连接。

• 账号、密码：分别填写数据库账号和密码。

• 连接参数：额外的连接参数，默认为空。

• 时区：默认为数据库所用的时区，您也可以根据业务需求手动指定。

• 包含表：默认为全部，您也可以选择自定义并填写包含的表，多个表之间用英文逗号（,）分隔。

• 排除表：打开该开关后，可以设定要排除的表，多个表之间用英文逗号（,）分隔。

• Agent 设置：默认为平台自动分配，您也可以手动指定 Agent。
  

4. 单击连接测试，测试通过后单击保存：

④ 创建数据复制/开发任务

⑤ 任务启动与监控

以上，便是借助 TapData 快速实现 TDengine 到 RDS MySQL 的全、增量同步的模拟教程。

后续，我们还将陆续输出 GaussDB、人大金仓Kingbase、神州通用、南大通用、OpenGauss、瀚高、TDSQL、VastBase 等热门国产数据源的连接教程，欢迎关注 TapData 官方公众号，了解更多。

【推荐阅读】：

• TapData 信创数据源 | 国产信创数据库达梦（Dameng）数据迁移指南，加速国产化进程，推进自主创新建设

• 加速数字化转型，信创自主可控：TapData 为银行业数据管理能力建设提供新思路‍

• ‍统一的实时数据平台终极指南

• TapData 医疗美容行业数字化白皮书上线

• 大型国民老牌药品医疗企业如何借助实时数仓冲破数据孤岛桎梏，拥抱数据驱动的经营管理模式