申请免费试用 Tapdata 企业版
申请免费试用 Tapdata 企业版
Tapdata 帮助中心

盘点 | 2024 年最值得关注的十大 ETL 数据集成工具

2024-04-10
利用 ETL 工具,可以将来自不同来源和平台的原始数据整合到数据仓库或数据湖等连贯、可访问、可操作的数据中,以供数据分析、商业智能和数据科学应用等分析和报告使用。2024 又有哪些 ETL 工具值得关注?

信创里程碑:Tapdata 同时通过华为云 GaussDB 及鲲鹏兼容互认证,全面支持基础设施自主创新建设

2024-04-03
近日,深圳钛铂数据有限公司自主研发的钛铂实时数据平台分别与华为云 GaussDB、华为云公有云平台(鲲鹏)完成相互兼容性测试,与二者兼容性良好,系统功能正常,运行稳定,顺利获得华为云技术认证证书及认证徽标的使用权。

生态短讯 | Tapdata 与 TDengine 完成产品兼容性互认证,打造物联网实时数据生态

2024-04-03
近月,深圳钛铂数据有限公司(以下简称钛铂数据)自主研发的实时数据平台(TapData Live Data Platform)与北京涛思数据科技有限公司(以下简称涛思数据)自主研发的大数据平台 TDengine,已经完成了产品兼容性互认证。经双方团队共同严格测试,Tapdata Live Data Platform 与 TDengine 共同稳定运行,安全可靠,性能卓越,相互兼容。

AI 数据观 | 大模型私有化部署落地过程中,那些容易被忽视的“数据集成”难题

2024-03-28
时间进入 2024 年 3 月,这场由 AI 大模型引发的技术热潮仍未退却。因此,如何让 AI 真正成为推进企业现代化的一环,为组织生产运营创造价值,就成了企业需要思考的新问题。

Debezium vs OGG vs Tapdata:如何实时同步 Oracle 数据到 Kafka 消息队列?

2024-03-20
如今,企业对实时数据处理的需求逐渐成为推动业务创新和发展的重要驱动力。许多企业选择将 Oracle 数据库同步到 Kafka,以满足日益增长的实时数据处理需求。本文将通过一组常见方案对比,为优化二者间的实时同步性能提供新思路。

Tapdata Cloud 3.5.12 Release Notes

2024-03-18
Tapdata Cloud v3.5.12 已上线!

无缝集成 MongoDB Relational Migrator,Tapdata 提供关系型到 MongoDB 实时迁移优化方案

2024-03-11
在近期版本中,Tapdata 新增支持导入 MongoDB relmig 文件生成任务的能力,用户可以将在 MongoDB RM 上设计好的数据流转流程导出后,直接导入 Tapdata 数据管道,提升数据管道设计便利性。

官宣!前联邦快递亚太区董事总经理 Robin 加入 Tapdata 担任首席运营官

2024-03-08
日前,前联邦快递亚太区董事总经理、软件研发与管理专家 Robin Losey,正式官宣加入 Tapdata,并出任首席运营官(COO),主要负责 Tapdata 的团队管理、产品研发以及海外业务运营等工作。

致 Tapdata 全体用户:2023 年,我们把更多精力集中到了产品能力和稳定性上

2024-02-28
感谢过去一年大家对 Tapdata 的反馈、支持与陪伴,新一年我们还将为用户朋友们提供更多 Tapdata 教程指南以及行业解决方案的建议,欢迎大家持续关注。

Tapdata 正式登陆 Google Cloud Marketplace,面向全球用户提供专业的实时数据服务

2024-02-28
Tapdata Real Time Data Pipelines 正式上线 Google Cloud Marketplace。

TapData Cloud 3.5.11 Release Notes

2024-02-15
Tapdata Cloud v3.5.11 已上线!

Tapdata Connector 实用指南:3 分钟开启 MySQL 到 MongoDB 的数据同步任务

2023-12-29
作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台,内置 100+ 数据连接器,拥有稳定的实时采集和传输能力,以及低代码可视化操作等。典型用例包括数据库到数据库的复制,以及通用 ETL 处理等。本期《Tapdata Connector 实用指南》将为您讲解如何实现零停机的 MySQL → MongoDB 数据同步。

碧莲盛 x Tapdata:实时数据如何赋能医疗美容行业,助力医疗决策及个性化服务升级

2023-11-28
近年来,医疗美容行业的发展势头迅猛。科技的不断创新为之注入新活力的同时,也提出了新的挑战。技术和设备升级进而催生了新的信息化管理的需求。如何打破数据孤岛的掣肘,让数据资源真正流动起来就成了迫切需要解决的问题。

2023 数据工程师年度关键词:现代数据堆栈

2023-11-19
长久以来,数据工程的发展节奏一直没有放缓。近几年,新的技术和概念出现得更是特别快。2023 又近年末,让我们慢下来思考下数据工程的现状,以及那个在新工具涌现的时代大家一直关心的问题——数据工程师的角色在未来会有怎样的变化,会不会逐渐消失?

成功入选 2023 谷歌出海创业加速器,Tapdata 乘势远航

2023-09-21
日趋成熟稳定的国内版本,与即将加速启航的海外战略齐头并进,Tapdata 将为全球用户带来高质量的实时数据服务。

活动报名 | Modern Data Stack Meetup 北京首站启动!与三大开源社区共同探索现代数据栈的最佳实践

2023-09-21
就在本周日!本系列活动旨在帮助大家快速入门现代数据堆栈方法论,深入了解其间各个环节各类工具的组合特性及最佳实践,并为构建良好的数据文化提供启发。

Tapdata 重磅更新已就绪!全托管云服务上线,应用场景再扩展

2023-06-20
近一年间,Tapdata 在 2.0 版本的基础上持续优化,不断改进与完善,终于迎来了产品能力更加完备,性能表现更加优秀的新版本。相信它将为大家带来更好的使用体验和更加完善的服务,在未来的新一阶段为数据应用创造新的惊喜。

倒计时 1 天:Tapdata LDP V3 发布会预告,看实时数据集成平台如何赋能企业 AI 落地

2023-05-09
近期,随着 ChatGPT 的火爆,越来越多的企业开始把目光投向了 AI 技术,本文将结合具体示例,阐述新趋势下,Tapdata 将如何帮助企业将私有数据与 AI 大模型融合,从而实现企业数据价值的提升。

做客《创新之路》,Tapdata 创始人唐建法对话央视著名主持人李雨霏,畅聊创业故事

2023-05-09
在近期播出的《创新之路》访谈栏目中,我们看到了 TJ 作为 Tapdata 领路人对于行业共同问题的敏锐嗅觉,对技术与创新的执着与坚持,以及「Make Your Data on Tap」的不改初心。

Tapdata 的 ∞ 实践:实时数据赋能电商资源分配,快速落地敏捷、可复用的库存数据服务

2023-05-09
对于电商企业而言,为了保证用户订单的有效性,防止错单和废单,无疑需要随时保持第三方平台售卖商品时显示的销售库存数量和该商品的实际库存数量一致。因此,库存数据服务的可复用就显得尤为重要。那么库存数量一致性该如何实现?本文将结合案例具体说明。

Tapdata 的 ∞ 实践:中小企业如何轻量、高效地搭建起一个灵活易用的数字化平台

2023-05-05
数字化浪潮下,了解并应用数据思维,搭建数字化平台,可以帮助企业更好地理解客户需求、市场趋势和业务机会,更高效地进行产品运营和管理。那么,面对技术和成本压力,中小企业如何轻量、高效地搭建起一个灵活易用的数字化平台?本文将结合典型案例具体说明。

开源+实时+数据即服务的架构——唐建法受邀出席2023数据技术嘉年华【干货回顾】

2023-04-27
依据现代数据栈的定义,Tapdata 是一个专注于数据集成和数据准备的现代数据栈工具,主要承担数据的采集、集成、准备和服务模块,其核心价值体现在数据集成上:将企业的数据进行联通,为新的数据业务提供新鲜的数据。

数据中台建设:千万级的瀑布式,和十万级的迭代式,你会选择哪一个?

2023-04-21
数据中台风云再变,但其理论本身在架构变革、推进数字化方面的积极意义始终没变。在思考如何“借鉴”先进理论,建设自己的中台时,企业正在面临新的选择:采用传统的瀑布式建设方式,还是使用现代的迭代式建设方式。本文或许能给你带来一些启发。

中核武汉 x Tapdata:能源领域老牌央企如何释放数据力量,推进精细化管理

2023-04-14
传统企业的数字化升级迫在眉睫,数据孤岛成为头号难题。传统 ETL 方案治标不治本,无法从根源上打破数据壁垒。为此,Tapdata 提供了新的解决方案,使用数据实时同步+实时数据处理+实时数据发布的新一代数据平台,帮助企业实现数据共享,真正降本增效。想要了解老牌能源企业如何借助 Tapdata 释放了数据潜力,实现精细化管理,本文将给你答案。

Tapdata Connector 实用指南:如何将 CRM 数据从 Salesforce 实时同步到 MongoDB 等其他数据库

2023-03-30
数据环境不断变化的今天,想要仅凭 Salesforce 这样的 CRM 软件来为企业获得最大价值已然远远不够。往往需要将其与一个表现出色的数据库或数仓结合起来,才能激发更强大的分析洞察力,促进企业效益持续增长。

Tapdata 赋能敏捷转型:头部知识付费应用如何搭载实时数据快速提升人效,创造业务增长点

2023-03-24
知识付费类应用爆炸的今天,如何利用实时数据的力量拥抱敏捷化运营转型,优化知识内容结构,已经成为增强产品竞争力的关键因素。看 Tapdata 如何助力头部 App 释放数据潜能,提升人效,促进业务增长。

Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 Databend

2023-03-17
随着云计算技术的发展,计算平台的能力得到了大幅度提升,提供了更高效、更安全、更灵活的计算和存储资源。云原生数仓开始收获关注。本文将以 Databend 为例,重点展示如何实现数据快速同步至新一代云原生数仓。

Tapdata Cloud 基础课:新功能详解之「授权系统自动分析」,一键定位任务报错原因,快速获取修复建议

2023-03-10
我们在使用 Tapdata Cloud 的过程中,难免会遇到任务报错的情况,这时我们应当如何处理呢?Tapdata Cloud 智能小助手最新上线的【授权系统自动分析】功能会是个值得推荐的选择。

Tapdata Cloud 基础课:新功能详解之「微信告警」,更及时的告警通知渠道

2023-03-02
Tapdata 最新专栏《Tapdata 功能菜单》来啦。每期一个新功能或新特性,为大家讲解功能亮点,快速展示相关操作配置及注意点。本期内容围绕「微信告警」展开, 将和大家一同体验邮件、短信通知外的及时告警快捷新模式。

活动报名:Tapdata Cloud V3 最新功能全解与核心应用场景演示

2023-02-23
Tapdata Cloud 自初版公测以来,已累积10,000+ 注册用户。2月28日 19:30,Tapdata CTO 在线讲解 Tapdata Cloud V3 的全谱系功能特性,辅以版本对比与经典场景演示,为大家送上最全面的版本升级指南。

Tapdata Connector 实用指南:实时数仓场景之数据实时同步至 ClickHouse

2023-02-23
如今,数据正以极大量级、极细颗粒度、极高时效性、极智能方式影响着企业运作,为了从海量数据中获取有价值的洞察,基于 ClickHouse 的实时数仓方案开始成为很多企业的选择。本文将演示如何快速将数据向 ClickHouse 同步。

Tapdata Connector 实用指南:数据入仓场景之数据实时同步到 BigQuery

2023-02-15
数据规模仍在持续扩大的今天,越来越多的企业开始把目光投注到云数仓 BigQuery 之上,希望借其运行大规模关键任务应用,从而达到优化运营、改善客户体验并降低总体拥有成本的目的。本文将演示如何快速将数据向 BigQuery 同步。

致 Tapdata 开源贡献者:聊聊 2022 年的进展和新一年的共建计划

2023-01-17
在内、外部开发者的合力之下,过去一年 Tapdata 新增数据源近20个,实现了60+数据源的接入能力。一个人可以走得很快,一群人可以走得更远,2023年期待与您共创更受欢迎的开源项目。

阿里云对话 Tapdata:「开发者优先」正在影响商业化软件的开源选择

2023-01-17
一个良好的开源生态具有哪些特征?开源与商业一定是对立的吗?开源产品应该如何做好商业化?Tapdata 创始人兼 CEO 唐建法出镜“阿里云大咖说”,与阿里云数据库开源负责人惊玄对话数据技术的开放生态。

Tapdata Cloud 场景通关系列:数据入湖仓之 MySQL → Doris,极简架构,更实时、更简便

2022-12-27
作为现代数据栈时代的核心,数仓在企业数字化转型过程中扮演着极为重要的角色。如何在不影响原有业务的前提下,提高数据交付实时性,简化数据入湖入仓架构?三步快速稳定实现数据实时入湖入仓,登录 Tapdata Cloud 3.0 内测版立即体验→

Tapdata 杨庆麟:实时数据如何赋能制造业,实现业务卓越与持续发展?

2022-12-12
近日,Tapdata 首席架构师杨庆麟在直播活动中,从当下制造行业的企业数据现状和根本痛点切入,结合半导体和汽车制造案例实践,深度分享了实时数据赋能制造的价值及其背后的技术架构。本文为要点回顾。

Tapdata Cloud 场景通关系列:将数据导入阿里云 Tablestore,获得毫秒级在线查询和检索能力

2022-12-12
海量结构化数据存储、查询、实时分析压力当前,Tapdata 联合阿里云数据库 Tablestore,带来低成本、高效的解决方案。如何三步快速实现数据导入 Tablestore,登录 Tapdata Cloud 3.0 内测版立即体验→

活动报名:Tapdata 赋能制造业产能升级,直播详解半导体和汽车制造行业最佳实践

2022-12-01
制造行业的企业数据现状和根本痛点是什么?Tapdata 将如何帮助制造企业解决数据实时性问题,继而提升产能、实现运营优化?又有哪些成功案例可以参考?12月7日 19:00,我们线上见!

Tapdata Cloud 场景通关系列:集成阿里云计算巢,实现一键云上部署真正开箱即用

2022-12-01
Tapdata Agent 一键自动部署在阿里云计算巢,数据上云、云内/跨云同步和迁移更流畅。计算巢资源支持免费试用,登录 Tapdata Cloud 3.0 内测版立即体验→

Tapdata Cloud 场景通关系列: Oracle → MySQL 异构实时同步

2022-11-23
Tapdata Cloud 商用版本即将发布,更稳定、更易用,SLA保障您安心上生产!文末附产品内测报名通道。

阿里云对话 Tapdata:以秒级响应速度,为企业提供实时数据服务

2022-11-17
今年年初,Tapdata 入选阿里云首期云原生加速器,开始携手阿里云共建云原生行业新生态;8月,获阿里云首批产品生态集成认证,与阿里云正式在产品层面展开合作,加速云原生落地,自此,Tapdata 与阿里云形成稳定的生态合作伙伴关系。本期内容为阿里云对话 Tapdata 创始人 TJ。

瓜分 28 万现金大奖,Tapdata 数据源 Connector 大赛等你来战

2022-09-28
Tapdata 数据源 Connector 挑战赛(第一届)火热进行中!积累开发经验,瓜分28万现金大奖,我们在这里,等一个热爱技术的你!

企业数据现状分析:为什么需要实时数据?如何高效挖掘实时数据价值?

2022-08-24
如今,数据的时效性会真正影响到一个企业的生存。一直以来,以传统 BI 报表、数据大屏、标签画像等为代表的分析型业务,都是企业数据资源的重点应用场景。但分析型业务并不是企业的全部,同时还存在对数据实时性要求更高的新一代的运营型分析以及越来越多的交互型业务场景,更是企业的核心命脉。

开源中国专访 TJ:开源许可证,欢迎来到云时代

2022-08-15
近年来,一批新的开源许可证的出现,在社区内引发了一些激烈的讨论。从争论的角度主要分为两大阵营:原教旨主义和实用主义。本文将重点谈谈关于这些争论的思考与实践。

Tapdata 开源项目基础教程:功能特性及实操演示

2022-08-03
自开源以来,Tapdata 吸引了越来越多开发者的关注。随着更多新鲜力量涌入社区,在和社区成员讨论共创的过程中,我们也意识到在基础文档之外,一个更“直观”、更具“互动性”的实践示范教程的重要性和必要性。为了辅助开发者更好地理解技术文档,真正实现快速上手、深度参与,即刻开启实时数据新体验,我们同步启动了 Tapdata 功能特性及操作演示系列教程。

活动报名:如何高效应对当下的实时场景需求?

2022-08-03
8月10日(周三)20:00,Tapdata 直播间与您相约。Tapdata 首席架构师杨庆麟(Arthur)在线讲解当下实时场景的真实诉求,从历史技术架构纵向对比,到新一代解决方案深度剖析,详细梳理有关“实时数据技术”的历史与现在。

Tapdata 面向开发者、数据工程师、DBA、应用架构师、数据架构师的典型应用场景

2022-07-08
Tapdata Live Data Platform 是新一代的实时数据平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式,为下游的交互式应用,微服务或交互式分析提供新鲜实时的数据。开发者、数据工程师、DBA、应用架构师、数据架构师等都是 Tapdata 的核心用户群,并拥有诸多典型的应用场景......

Tapdata 的 2.0 版 ,开源的 Live Data Platform 现已发布

2022-07-07
Tapdata Live Data Platform 发布会演讲精华总结+直播回放!阅读文章详情,获取首批体验官专属权益!时代为何需要一个全新的实时数据架构?Tapdata 技术架构有何优势和特性?Tapdata 的开源路线图又是怎样?

新的十年,实时数据架构技术意味着什么?

2022-06-23
上一个十年,最主流的大数据平台主要面向的场景是对企业离线数据的统一汇聚和分析洞察,但无法满足交互型业务场景和新一代运营分析对来自业务系统的实时数据的诉求。常见的实时数据集成方案有哪些利弊?新的十年,实时数据架构技术又有什么革新?6月29日 14:30,相约 Tapdata 直播间。

Tapdata 杨哲轩:数据孤岛何去何从,主数据管理能药到病除么?

2022-06-20
数据孤岛是熵增,而主数据管理则是熵减,如果一开始的主数据没定义好,再回头返工把主数据和主数据管理的这些基础设施工作做好,将导致数字化转型项目开展到深水区之后便更加困难重重,一款好的主数据管理软件,可以让主数据管理在企业中落地时事半功倍的,而高层支持以及对主数据和主数据管理有正确的认知,则能够一起推动企业的变革。

Tapdata 在数字化防疫场景的最佳实践

2022-05-18
在“动态清零”总方针的指导下,国内疫情防控工作渐趋规范化、常态化,各类防疫应用和手段层出不穷,防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案,助力张家港市卫健委高效落地疫情防控数字化,实现精准防疫。

“数聚赋能”,让实时数据中台成为惠企、惠民政策服务应用的源头活水

2022-04-25
拆除数据烟囱,加速落成实时数据共享、交换中心,Tapdata 凭借实时数据服务领先的技术优势,助力某市大数据局盘活数据资源,实现各政务部门通过数据接口快速调用中心数据,高效、低成本上线所需的政务服务应用。

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

2022-03-29
对于 PostgreSQL 的实时数据采集, 业界经常遇到了包括:对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中,获得了一些不错的经验和思考,本文将分享 Tapdata 自研的 TAP-CDC-CACHE,和其他几种市面常见的解决方案的优势和特性。

现代数据环境下,如何做数据集成?Tapdata Real Time DaaS 最佳实践分享

2022-01-11
鉴于现代化数据的动态特性,企业必须基于不断变化的特性来构建架构,并持续监视和调整其数据流转系统的性能,本文分享了数据集成的11个最佳实践,并介绍 Tapdata Real Time DaaS 如何满足当下多种数据集成的应用场景。

搭建企业级实时数据融合平台难吗?Tapdata + ES + MongoDB 就能搞定

2021-11-24
如何打造一套企业级的实时数据融合平台?Tapdata 已经找到了最佳实践,下文将以 Tapdata 的零售行业客户为例,与您分享:基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

2021-11-23
我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

2021-11-10
数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021-10-21
2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

解锁5大应用场景,最新实时同步实现方案分享

2021-09-18
数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 肖贝贝:实时数据引擎系列(五)-关于 SQL Server 与 SQL Server CDC

2021-09-15
在企业客户里, SQL Server 在传统的制造业依然散发着持久的生命力,SQL Server 的 CDC 复杂度相比 Oracle 较低, 因此标准的官方派做法就是直接使用这个 CDC 接口进行同步,但江湖上也有通过裸解析 ldf 文件来直接读取数据库变更,本文将就这两大门派展开探讨。

Tapdata Real Time DaaS 技术详解 PART I :实时数据同步

2021-09-09
企业信息化过程形成了大量的数据孤岛,这些并不连通的数据孤岛是企业数字化转型的巨大挑战。Tapdata Real Time DaaS 采用的CDC模式,具有巨大的优势,同时是一个有技术壁垒的活。当然,我们应对数据挑战的方式不止于此。

Tapdata 肖贝贝:实时数据引擎系列(四)-关于 Oracle 与 Oracle CDC

2021-09-06
想实现 Oracle 的 CDC,排除掉一些通用的比如全量比对, 标记字段获取之外, 真正的增量形式获取变更, 有三种办法: Logminer 、XStream 、裸日志解析,但不管哪种方法都会导致 Oracle 的同步变得工程量巨大, 而使用 Oracle 的客户, 又大多对数据的准确性要求非常严格的, 这里形成了一个非常庞大而传统的市场。

Tapdata肖贝贝:实时数据引擎系列(三)-流处理引擎对比

2021-09-01
本文将选取市面上一些流计算框架包括 Flink 、Spark 、Hazelcast,从场景需求出发,在核心功能、资源与性能、用户体验、框架完整性、维护性等方面展开分析和测评,剖析实时数据框架的特色。

Tapdata肖贝贝:实时数据引擎系列(二)-批流一体的数据

2021-08-27
在对数据的认识里, TAPDATA 引擎的设计和一些其他的流框架不太一样, 他的对象抽象里没有批数据和流数据的区分, 数据只有一种, 被命名为 Record, 数据来源只有一种, 命名为 DataSource, 而数据流阶段也只有一种, 被命名为 DataStage ......

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

2021-08-09
前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Flink vs Jet: 性能压测对比(一)

2021-08-09
flink 是一个非常火热的流计算框架, hazelcast-jet 是 TAPDATA 在进行流计算时采用的一个嵌入式的流计算框架 看到 hazelcast-jet 官方自己做了一些与 flink 的性能压测对比, 这边比较好奇他们的性能差异是否真有那么大, 会尝试做一系列性能测试, 来给大家一个参考

什么是数据虚拟化(Data Virtualization)?

2021-07-28
本文将简单易懂地介绍数据虚拟化技术及数据虚拟化软件架构的实现方法,尽量避免教条主义。如需要了解虚拟化定义,可通过wiki 百科了解。先引用一段百度百科的文字来说明数据虚拟化的定义:数据虚拟化(data virtualization)是用来描述所有数据管理方法的涵盖性术语,这些方法允许应用程序检索并管理数据,且不需要数据相关的技术细节,例如它格式化的方式或物理位置所在。正如百科的定义,采用数据...

什么是数据即服务(Data as a Service)?

2021-07-26
数据即服务(DaaS)是一种数据管理策略,旨在利用数据作为业务资产来提高业务创新的敏捷性。它是自 1990 年代互联网高速发展以来越来越受欢迎的“一切皆服务”(XaaS)趋势下关于数据服务化的那一部分,介于 PaaS 和 SaaS 之间。与 SaaS 类似,DaaS 提供了一种方式来管理企业每天生成的大量数据,并在整个业务范围内提供这些有价值的信息,以便于进行数据驱动的商业决策。同时,我们也...

Tapdata Cloud 是什么?

2021-07-02
Tapdata Cloud 是钛铂数据自研的异构数据库实时同步工具 Tapdata Replicator 的云服务版本,现在免费提供所有开发者和企业使用Tapdata Cloud 目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 之间的数据迁移和同步,未来将陆续上线 DB2、Sybase ASE、Redis、Kafka 等。

Tapdata 数据库实时同步的技术要点

2021-06-18
Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

实时数据服务平台 Tapdata 产品简介

2021-05-21
Tapdata的实时数据开发平台产品系列可以帮助企业构建一站式实时数据开发及服务平台DaaS(Data as a service),为企业提供统一和完整的企业主数据层,能够在此基础上查询,分析和创新。Tapdata产品覆盖了企业数据使用过程中,所需要的各种步骤和工具。

阿里拆中台:中台如何变薄?| 从新技术曲线角度解析数据中台

2021-03-26
基于Hadoop的方案本质上是个OLAP离线数据的处理分析。对OLTP在线业务支撑并不理想。而企业在TP业务上投入和AP相比是9:1。大数据供应商竭尽其能包装的包治百病的神话,自然很快就被发现无法满足客户的期望值。现在大数据热度是没有了,但是它会消亡么?不会的。它还会在适合它的场景持续存在。

教育中台与第三方系统对接整合数据案例

2021-01-22
最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

Tapdata 实时数据融合平台解决方案(五):落地

2020-09-18
Tapdata DaaS 可以看做是 MongoDB 生态上一个工具集。 要做一个数据中台,要同步、要治理、要建模、还要做API发布,这些都不是 MongoDB 做的事情,MongoDB 主要是做数据库为它的核心的主要的功能,其他的相应的功能就可以通过一些外围的工具。而 Tapdata DaaS 可以快速的来实现这些不需要用代码的方式快速把数据的同步,建模和治理,以及发布给快速的做出来。

Tapdata 实时数据融合平台解决方案(四):技术选型

2020-08-21
常见搭建数据中台的技术产品数据中台包括:统一数据平台,数据同步,数据治理,数据服务四大部分。下表列出了这四大部分中相应的技术产品,有同步汇聚工具、有数据治理、还有数据服务。

Tapdata 实时数据融合平台解决方案(三):技术需求

2020-07-10
基于对于数据中台的理解和定义,我们列出了数据中台所应该具备的技术需求。主要是分为:数据存储系统、数据同步汇聚工具、数据治理和开发、数据交换和发布、数据管理能力五大模块。

Tapdata 实时数据融合平台解决方案(二):理解数据中台

2020-06-26
构建企业数据中台,所支撑的场景不仅仅是分析(如可视化分析,数据发现,数据报表等等),也包括满足各种前端业务应用对数据的需求,如CRM、BPM、SCM、MES等。所以这里提供的数据服务是全渠道业务,而不是传统数仓做的BI类似的工作。更多前端业务应用如掌上商城、手机银行、保单管理、客户360、统一订单、销售大屏等。汇聚在中台的数据可以直接推到手机、App等各类前端,并且是实时的,交互的数据。

Tapdata 实时数据融合平台解决方案(一):数据架构及痛点

2020-05-15
数据孤岛带来的影响严重阻碍了新业务对已有数据的重复利用: - 需要大量时间对接和同步; - 用户体验下降,数据不完整不实时; - 重复建设,复用率低等。

周生生 | 全渠道商品中心建设

2020-04-10
通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

2020-03-10
使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

基于GridFS的异地分布式存储构建的数据中台

2020-02-10
基于GridFS的异地分布式存储构建的数据中台关键成果: - 集群提供自动故障转移能力,系统可用率>99.9% ; - 支持无缝线上扩容能力 – 可随着数据量增加而逐渐扩容; - 以统一接口(REST API)向使用方提供所需数据。

从Oracle到MongoDB,东方航空RTDP业务实时同步方案

2020-01-06
Oracle - MongoDB异构同步关键成果: - 实现T+0实时业务场景; - 初始同步速度>=每秒1万条记录; - 实时增量同步>=每秒500条更新的处理能力; - 实时增量同步的数据延迟<=15秒。

浅谈 MongoDB 在数据中台实践中的优势

2019-12-20
数据中台应需求而生,而MongoDB参与的数据中台架构方案,简单便捷,帮助企业前台业务创新快速落地。同时节约成本,保护了先前投入,并且在起步阶段的硬件投入相当低,随着日后数据量的增加,可以按需配套扩展,而这一切基于MongoDB的特性是无缝衔接的。

关系型数据库到MongoDB的战略迁移

2019-12-06
Tapdata Replicator包括任务调度设计、监控、告警,模式匹配,故障自动转移、日志管理、断点续传,同步验证等功能。能够从各种数据库,比如Oracle、MySQL、SQLSever、DB2等;不同的流数据,比如Kafka、MQTT、Log、Socket等;不同的文件,比如Excel、CSV、XML、Binary等中采集数据。

Tapdata 数据中台在智慧教育中的实践

2019-11-18
在智慧校园创建中,后台(或者说是底部)有着各类应用形成的丰富数据资源,而这些数据资源却不能统一、快捷、实时地支持前台(或者说是上部)的使用,很大地限制了这一轮智慧教育的设计和需求的实现。

Tapdata 钛铂数据的产品理念

2019-10-10
Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。