Tapdata 技术博客
Tapdata 技术博客

Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB等十余家厂商首批加入

2022-04-07 18:50

2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。截至目前,已有超10家数据库领域活力代表,作为首批生态共建伙伴加入:

Tapdata PDK 生态共建计划启动

  • 作为 Tapdata 生态的一员,Aerospike 正在依靠 Tapdata 平台,借助联合解决方案为所有上下游数据驱动业务提供亚毫秒级性能的实时,完整,全球分布的,强一致性存储能力的企业数据。我们与 Tapdata 合作在生态建设方面有更多的兼容性,大家一起成长发展,为客户提供更多更好的实时数据方案。——Aerospike

  • 爱可生将提供更丰富的开源分布式数据库的管理平台产品和服务能力,作为生态合作伙伴与 Tapdata 更好地为企业提供优质高效的数据库技术服务。——爱可生

  • Tapdata 作为国内领先的异构数据实时同步平台,非常高兴 Apache Doris 可以与 Tapdata 强强联手,通过 Tapdata 强大的实时数据同步能力,打破数据孤岛、为用户提供高效和统一的数据应用及分析平台,共建下一代数据架构。——Apache Doris

  • 作为开源领域分布式数据库的优秀代表 Cassandra 背后的商业化公司,DataStax 中国非常高兴参加 Tapdata 的 PDK 数据源插件共建计划,让数据实时流动起来,发挥数据的最大价值。——DataStax

  • 南大通用 GBase 系列数据库产品已广泛应用于金融、电信、政务、能源、交通、安全等关键领域。此次携手 Tapdata 参与 PDK 数据源插件共建计划,通过构建强大的数据整合工具,实现数据实时同步,打破数据孤岛,共同成为客户数据最坚实的后盾。——GBase

  • 热璞 HotDB 分布式关系型数据库产品和关系型云数据库产品,目前已大规模应用于各大行业的核心生产系统。热璞深知数据实时流动对客户的重要价值,愿携手 Tapdata 参与 PDK 数据源插件共建计划,释放客户数据价值。——HotDB

  • 极数云舟 DTark 多维数据融合计算的理念和 Tapdata Data on Tap 的愿景不谋而合,通过构建强大的数据整合工具实现数据实时流动和多样化数据服务,希望参与 PDK 数据源插件共建计划,让数据架构更简单。——极数云舟

  • 多源数据交互是现代企业的强需求,Tapdata 凭借数据即服务的先进架构,为用户的数据 & 业务融合带来极大的便利。KunlunDB 期待与 Tapdata 共建生态,为用户提供一个强大、便捷的分布式数据服务平台。——KunlunDB

  • MongoDB 由开发者专为开发者设计,它提供一个跨地域、跨云和部署类型的应用数据平台,帮助开发者解决事务性工作负载和现代应用程序面临的数据挑战。MongoDB 愿与 Tapdata 不断深化与扩大合作,为用户提供高效和统一的数据应用及分析平台,共建下一代数据架构。——MongoDB

  • 非常高兴 Nebula Graph 能加入 TapData 的 PDK 数据源插件共建计划,助力 PDK 打造具备广泛连接性的数据整合工具,实现数据库间数据的互联互通。作为一款开源和开放的图数据库产品,我们相信加入 PDK 计划能够帮助更多用户打通数据孤岛、发掘数据的更大价值。独行者速,众行者远,我们期待生态的力量能加速图数据库行业的发展。——Nebula

  • OceanBase 作为完全自主研发的国产原生分布式数据库,采用自研的一体化架构,兼顾分布式架构的扩展性与集中式架构的性能优势,用一套引擎同时支持 TP 和 AP 的混合负载,具有高性能、高兼容、低成本等特点,已助力400+行业客户实现核心系统升级。通过与 Tapdata 参与 PDK 数据源插件共建计划,相信两家将携手赋能客户最大数据价值,帮助业务快速成长。——OceanBase

  • 阿里云 PolarDB 数据库坚定拥抱开源,多年来积极参与开源社区建设,Tapdata 与 PolarDB 携手,将一起为用户提供更好的数据即服务体验, 共同繁荣云原生分布式数据库生态。——PolarDB

  • 巨杉数据库 SequoiaDB 诚挚地祝贺 Tapdata PDK 框架发布。作为一款基于湖仓一体架构的金融级分布式数据库,SequoiaDB 已在超过100家大型银行及金融机构规模化上线,并广泛应用于政府、能源、运营商等行业。SequoiaDB 愿与 Tapdata 携手,连接数据孤岛,释放全量数据价值,共筑数据产业生态。——SequoiaDB

  • vika 维格表已与 Tapdata 实现了业务数据库到维格表的快速导入,用户可以通过维格表 + Tapdata,更敏捷地展开团队数据协作和项目管理工作。当轻量化的异构数据实时同步工具,遇上轻量化的数据管理工具,就会在数字化新时期创造出 1+1>2 的效果。vika 维格表非常荣幸可以与 Tapdata 一同携手助力提升业务转化与协同效率。——vika 维格表


秉承 Data On Tap 的愿景,专注于实时数据服务平台的 Tapdata,通过开源 PDK(Plugin Development Kit),将自身的数据接口技术抽象化,赋能开发者,从而为日益增长的数据源接入需求开放快速开发通道。


一、孤岛困局:企业全面数字化的「拦路大山」


如今,数字化作为企业这座大楼中的“钢筋水泥”,俨然成为企业发展的必要“基础设施”。随着数据资产在未来竞争中扮演着越来越重要的角色,各行业纷纷布局数字化转型,应用服务和数据库数量由此不断增加,基于新兴数据库的应用系统和微服务也开始面临数据互通困境,孤岛问题日益凸显。从横向看,多个应用系统间彼此不通,难于管理;纵向上,企业未来业务与陈旧技术栈间的不可调和矛盾。


数据孤岛环立,数据难以集成,数据应用的真实价值被禁锢,更进一步的数字化转型之路也因此阻滞颇多。数字生态苦封闭久矣,互通、开放开始成为全行业的共同追求,而如何快速打通彼此间的连接,冲破数据壁垒,就是我们要翻越的第一座大山。


二、Tapdata 开源 PDK:数据连接的「万能插头」


面对全行业普遍的孤岛困局,Tapdata 秉承 Data on Tap 的愿景,正在将“数据孤岛终结者” Tapdata iDaaS 推上舞台,致力于让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。Tapdata iDaaS 可以通过实时数据同步+流式处理能力+分布式数据库存储能力,为企业提供一个中央化的主数据中心;通过无代码 API 或反向推送能力为企业的 TP 或 AP 型业务提供精准、低延迟、一致性的实时数据服务。如果你在使用类似“应用双写/CDC+ Kafka + Flink + 实时数仓 + 自建 API 服务”这样的复杂架构来解决你的实时数据需求,那么Tapdata iDaaS 将会给你带来一个不需要 Kafka 和 Flink 的更加轻盈的新一代实时数据架构。


为了进一步支持国内新一代数据库厂商和独立开发者,以更简单的方式开发基于 Tapdata 的数据源插件,享受 Tapdata 实时打通数据孤岛的能力,Tapdata 正式启动插件生态共建计划,开源 PDK(Plugin Development Kit),将自身的数据接口技术抽象化,赋能开发者。


Tapdata PDK 是什么?


作为 Tapdata 产品开源计划的准备,PDK 是一个开源插件开发框架,通过 Source Plugin 接口或者 Target Plugin 接口,可以快速实现新数据库作为 Tapdata 的源或目标的适配兼容。 PDK 开发者遵照开发规范,进行包括数据库、SaaS 产品、自定义数据源在内的新数据源对接开发工作;通过 PDK 文档、 Plugin 模板以及内置的 TDD 测试框架, 一个 Target Plugin,顺利情况只需要数小时就可以完成。


支持类型:

  • 接入数据库:MySQL、Oracle、PostgreSQL 等

  • 接入 SaaS 产品:Salesforce、vika 维格表、金数据表单、Zoho CRM 等

  • 接入自定义数据源:可对接私有协议数据源


作为 Tapdata 支持 40+ 异构数据库的源端实时数据采集能力的基石,PDK 的开源,意味着开发可以快速、有效地将新数据源对接至 Tapdata 产品之中,不仅能获得广泛的连接性,还能通过简单配置,0 代码完成数据的互联互通。此外,低代码流式 ETL、类型转换、模式转换等能力也支持实时对数据进行修改,从而支撑业务对数据的多样化需求。

GitHub 链接:https://github.com/tapdata/idaas-pdk


三、基于 PDK,Tapdata 现已启动插件共建计划


PDK 的架构设计天然具有极强的开放性,更便于同数据库厂商、SaaS 公司,以及更多第三方开发者通力协作,打造具备广泛连接性的数据整合工具,这也是 Tapdata 发起共建计划的初心。


为何参与?


  • 立即获得超 40 种异构数据源到目标数据库或平台的实时数据对接能力,包括 Oracle、MySQL、PostgreSQL、SQLServer 等主流数据库

  • 可通过 Tapdata Cloud 以及 Tapdata 开源版(即将发布)免费使用该能力

  • 有机会在早期参与一个很受欢迎的开源项目,共同为社区贡献

  • 您的产品可以获得在一些主要媒体渠道展出的机会

  • 基于 GitHub 提交代码,代码所有权归属开发者


如何参与?


  • 开源自建伙伴:如果您对某种数据库比较熟悉,且有接入需求,可以基于我们已经开源的 PDK ,在 Tapdata PDK 团队的支持下,自主开发数据库插件,成为项目的首批贡献者。

  • 技术支持伙伴:如果您同时还属于数据库厂商或 SaaS 平台,还可以通过这一方式参与进来——只需提供技术支持,插件研发的具体工作,则交由 Tapdata 来完成。


想要参与共创、了解更多信息,欢迎扫描下方二维码,加入【PDK 插件生态共建群】,我们将于第一时间在群内同步项目进展:

Tapdata 官方小助手


生态开放漫漫行路,独自奔赴恐力有不逮。站在全面数字化升级的关键时代节点,Tapdata 诚挚邀请正在关注数据实时互通潜能的开发者,参与我们的 PDK 插件生态共建计划,共谋生态,合作共赢。


让数据无界,将价值共享。


Tapdata PDK 为 Tapdata iDaaS 的一个组件,Tapdata iDaaS 完整项目将在近期正式开源,敬请关注。


推荐阅读

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下,国内疫情防控工作渐趋规范化、常态化,各类防疫应用和手段层出不穷,防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案,助力张家港市卫健委高效落地疫情防控数字化,实现精准防疫。

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB等十余家厂商首批加入

2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,Doris、OceanBase、PolarDB、SequoiaDB、Aerospike 、GBase、HotDB、KunlunDB、MongoDB、Nebula、vika 、DataStax、极数云舟等首批加入,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。

解锁5大应用场景,最新实时同步实现方案分享

数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集, 业界经常遇到了包括:对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中,获得了一些不错的经验和思考,本文将分享 Tapdata 自研的 TAP-CDC-CACHE,和其他几种市面常见的解决方案的优势和特性。

搭建企业级实时数据融合平台难吗?Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台?Tapdata 已经找到了最佳实践,下文将以 Tapdata 的零售行业客户为例,与您分享:基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。