Tapdata 技术博客
Tapdata 技术博客

坐标PCB公司,想做实时数仓、推生产线看板,和 Tapdata Cloud 的偶遇来得就是这么凑巧

2022-03-15 16:11Tapdata Cloud 系列案例


坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧


Tapdata Cloud 是一款很有「前途」的产品。——Tapdata Cloud 用户 | 一线DBA@某PCB全球百强企业


从首次提出这一概念起,已经 10 年过去了,“工业互联网”仍然是制造业高质量发展的主题。


踩着这阵东风,数字化升级、智能制造、工业信息化等关键词接连冒头,有效利用“数据的力量”,成为推进产业升级创新、提升产品质量的重要一环,“制数权”的身价水涨船高。


建立“数据仓库”,便是这样的背景下,相关企业整合数据资源常见的选择之一。


面对企业内部经年累积的来自各业务系统的大量数据,如何在不给原系统太大压力的前提下,将这些不同结构的数据持续平滑地集成到数据仓库,也就成了足够叫项目技术负责人头疼的硬工程


我们今天请到的 Tapdata Cloud 案例分享者,正是这样一位来自 PCB 制造行业一线的资深 DBA。


想知道在本期案例刚刚启动的数仓项目测试里,Tapdata Cloud 是如何从一众工具中脱颖而出,在数据同步技术选型过程中成为首选的?想知道 Tapdata Cloud 是如何实现异构数据实时入仓的?一起继续看下去吧——


1 论坛初遇 就是「你」了

Tapdata Cloud——因为简洁所以惊艳


第一次接触到 Tapdata Cloud,是在某个论坛的技术板块。那是一篇对比数据同步工具的实用帖,恰巧那个时候我们公司内部有意向发展数仓项目,Tapdata Cloud 异构数据实时同步的功能吸引了我。需求与功能“对口”,于是选择试用——故事的开头就是这么简单。


坦白讲,市面上拥有类似数据同步功能的工具不在少数,我们也的确做过横向评估。在这个过程中Tapdata Cloud 展示出的一大优势是“管理简单”——支持低代码拖拽操作,任务运行监控可视——轻量易上手,这不正是我们想要的吗?


2 异构数据实时入仓 稳定可靠高效

真的有这么丝滑吗?


我们建数仓的直接目的,是整合业务数据用于报表分析,接入生产线看板,即时显示作业信息。因此对“实时性”、“稳定性”的要求特别高。


再加之物料管理等诸多不同系统的数据庞杂,来自 Oracle、SQL Server 等不同数据源的数据结构、字段类型各有差异,工程压力实在不小。


但如果用 Tapdata Cloud 完成这些,仅仅需要 4 步:选择源与目标→设置任务属性→选择表→完成表字段映射。我们最近一次同步测试,数据量达到数千万,运行起来也很流畅。








3 还在测试磨合阶段 但相信未来可期

后续还有更多场景可以用 Tapdata Cloud 先跑起来


如果要用一句话来评价 Tapdata Cloud 的话,我会说“这是一款有前途的产品”。


虽然还在测试磨合阶段,但我们还是能看到未来与 Tapdata Cloud 持续牵手的更多可能。举个小小的例子,我们计划用它来取代 DBLink 在部分跨业务系统远程查询场景下的工作,像是 OA系统访问财务系统。


以往我们在需要跨系统访问和查询时的传统操作,是创建 DBLink,但这样的速度其实非常慢。如果我们可以用 Tapdata Cloud 先将那些待查询的特定表同步到另外一个系统中,就可以直接减少 DBLink,从而让查询更高效。


最后,希望 Tapdata Cloud 可以越来越好用,我们也会一直关注。




Tapdata Cloud:一款异构数据库实时同步 SaaS 服务,支持主流的开源数据库及商业数据以及消息类中间件(包括:MongoDB、MySQL、Oracle、SQL Server、DB2、Elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB 等),基于日志的数据库 CDC 技术,0入侵实时采集,毫秒级同步延迟,拖拽式的“零”代码配置操作,可视化任务运行监控和告警,通过 Tapdata Cloud 可轻松实现跨系统跨类型的数据实时同步。注册免费使用:https://tapdata.net/tapdata-cloud.html



推荐阅读

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下,国内疫情防控工作渐趋规范化、常态化,各类防疫应用和手段层出不穷,防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案,助力张家港市卫健委高效落地疫情防控数字化,实现精准防疫。

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB等十余家厂商首批加入

2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,Doris、OceanBase、PolarDB、SequoiaDB、Aerospike 、GBase、HotDB、KunlunDB、MongoDB、Nebula、vika 、DataStax、极数云舟等首批加入,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。

解锁5大应用场景,最新实时同步实现方案分享

数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集, 业界经常遇到了包括:对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中,获得了一些不错的经验和思考,本文将分享 Tapdata 自研的 TAP-CDC-CACHE,和其他几种市面常见的解决方案的优势和特性。

搭建企业级实时数据融合平台难吗?Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台?Tapdata 已经找到了最佳实践,下文将以 Tapdata 的零售行业客户为例,与您分享:基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。