Tapdata 技术博客
Tapdata 技术博客

基于 Tapdata 社区版,如何动态注册数据源?| Tapdata

2022-08-12 18:40 Tapdata

Tapdata Community(社区版),即 Tapdata Live Data Platform (Community Edition) ,是 Tapdata 面向社区开发者和用户提供的开源版本,目前处于 beta 状态。Tapdata Community 拥有企业版的绝大部分核心功能, 支持用代码而非 SQL 来处理数据。核心覆盖的场景包括:实时数据同步、开发和 Fluent ETL,具备全量和增量复制,异构数据库间的同步与转换,表级同步以及任务监控等能力。预计下个版本将新增实时数据校验、增量数据校验、自定义函数与聚合算子场景支持,同时将数据源补充到 50 个以上。


本教程章节将具体介绍,如何基于 Tapdata Community 完成数据源新建任务。(想要了解如何从源码构建并启动完整的 Tapdata 服务?点击这里查看更多


以 MongoDB 为例,想要动态地注册一个数据源,并让系统具备插件式数据集成的能力,共需要完成如下三个步骤,


  1. 动态注册一个开发完成的数据源插件

    1. 列出系统当前支持的数据源:show connectors

    2. 注册 MongoDB 数据源插件

    3. 列出系统当前支持的数据源: show connectors

    4. 新建一个 MongoDB 数据源

        DataSource("mongodb", $name).uri($uri).save()

              e. 校验并保存数据源


  1. 新建所需的全部数据源, 校验并保存数据源


    DataSource("mysql", $name).host($host).port($port).username($username).password($password).db($db).save()DataSource("postgresql", $name).host($host).port($port).username($username).password($password).db($db).schema($schema).save()

  1. 检查数据源配置, 检查表加载情况



SEO尾巴.jpeg

Tapdata Live Data Platform 是一个自带 ETL 的实时数据平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过 API 或者反向同步方式,为下游的交互式应用,微服务或交互式分析提供新鲜实时的数据。申请试用


Tapdata 工作机制

推荐阅读