2022年4月,Tapdata 启动 PDK 插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,旨在充分激发实时数据流动的价值,助力各行各业完成从传统数据架构平滑过渡到新一代数据库架构,为用户提供更好的数据服务体验。作为参与该计划的首批生态共建伙伴,Apache Doris 与 Tapdata 强强联手,共建下一代数据架构。
近日, Tapdata 实时数据平台(Tapdata Live Data Platform, Tapdata LDP)与 Apache Doris 完成产品兼容互认证。经双方共同严格测试,结果表明 Tapdata实时数据平台与 Apache Doris 完全兼容,运行稳定,可以为数据的应用与分析提供性能保障。
Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
同样关注新鲜数据价值,深入挖掘离线分析(OLAP)场景与实时业务场景(OLTP)的 Tapdata LDP,作为首个同时支持 AP 和 TP 业务场景,基于 DaaS 架构自主研发的实时数据平台,具备异构数据实时同步、批流一体数据融合、自助式 API 发布等核心功能,可无代码快速连接孤岛系统,将企业核心数据实时集中到中央化数据平台,并通过 API 或反向同步方式,为下游的交互式应用、微服务或交互式分析提供新鲜实时的数据。Tapdata LDP 拥有“实时同步+实时处理+实时服务”的全链路实时优势:基于CDC方式实时采集;实时流式建模;亚秒级真实时分析;增量数据校验;高并发查询毫秒级响应。适用于多种应用场景:
快速数据交付:新型数据库和国产数据库越来越多,每一个新数据库场景的落地,都有可能需要获取已有业务系统的数据。直接从 Tapdata LDP 导入并保持持续同步,满足实时数据更新的需求,从数周的时间缩短到数小时内完成数据交付。
构建实时数仓:将企业主数据及运营数据统一汇聚到 Tapdata LDP,按照数仓分层理论分成基础数据,主数据和汇总数据层,为企业 BI、报表等提供快速的数据支撑。
构建实时数据中台:实时打通企业数据孤岛,对数据进行实时采集,治理及建模,构建企业的主数据系统,为企业的交互式业务,包括客户管理、生产运营管理等提供一个完整全面的企业数据底座,支撑前端交互式业务。
开发实时数据大屏:Tapdata LDP 完成数据采集同步、宽表构建、统计聚合计算,并为数据可视化平台提供数据固化视图,以亚秒级的性能为这些可视化平台供数,超越传统大屏依赖 SQL 和逻辑视图的方案,让实时大屏交互体验无需等待,更流畅。
随着新兴国产数据库不断涌现,Tapdata 一直在积极布局生态合作,持续牵手优秀的国产数据库代表。此番双方联合,一方面通过 Apache Doris 高并发低延迟的查询性能和高吞吐量的即席分析查询能力,以及 Tapdata 强大的实时数据服务能力,打破数据孤岛,共同为用户提供高效统一的数据应用及分析平台,深入探索互联网行业实时数据集成与分析解决方案;另一方面,也在积极推动基础软件国产化替代,共同完善信创产业链生态,加速数据基础设施国产化进程。
目前,Tapdata 与 Apache Doris 社区正在积极探索离线/实时报表,以及数据驾驶舱应用场景下的实时数仓联合解决方案,携手打造更加稳定可靠、流畅高效的用户体验。
未来,Tapdata 还将与 Apache Doris 社区持续合作,共同探索新一代数据架构的更多可能,基于更新鲜的数据为用户提供更精准的分析。
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
Apache Doris 社区已经聚集了来自不同行业近百家企业的 300 余位贡献者,并且每月活跃贡献者人数也接近 100 位。 2022 年 6 月,Apache Doris 成功从 Apache 孵化器毕业,正式成为 Apache 顶级项目(Top-Level Project,TLP)。
与此同时, Apache Doris 在中国乃至全球范围内都拥有着极为广泛的用户群体,截止目前, Apache Doris 已经在全球超过 500 家企业的生产环境中得到应用,在中国市值或估值排行前 50 的互联网公司中,有超过 80% 长期使用 Apache Doris,包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。
Tapdata Inc.「深圳钛铂数据有限公司」,成立于2019年9月,核心员工来自MongoDB、Oracle、百度、阿里、腾讯、PingCAP 等,研发人员占比超90%,至今已获五源资本等多家头部风投数千万美元融资。Tapdata 是新一代的实时数据平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式,为下游的交互式应用,微服务或交互式分析提供新鲜实时的数据,已服务周生生、中国移动、中国联通、南方电网、中国一汽、富邦银行、罗辑思维等数十家行业标杆企业。Tapdata 坚持“开放+开源”战略,推出 Tapdata Cloud,将无代码数据实时同步的能力以 SaaS 的形式免费开放,目前已积累 6000+ 注册用户。此外,Tapdata 开源项目也已发布,正在面向开发者逐步共享其核心能力。
Tapdata Live Data Platform:一款由 Tapdata 自主研发的实时数据平台,具备实时数据集成(ETL)和实时数据服务(DaaS)两大核心技术能力,可帮助企业无代码快速连接孤岛系统,把核心数据实时集中到中央化数据平台,并通过 API 或反向同步方式,为下游业务的交互式应用、微服务或交互式分析提供新鲜实时的数据。适用于企业统一数据管理、数据上云、实时数据中台、实时数据库同步、业务系统升级与加速等多个场景。试用 Tapdata Live Data Platform
Tapdata 开源项目:目前已发布 Tapdata 1.0,面向开发者,支持用代码而非 SQL 来处理数据。核心覆盖的场景包括:实时数据同步、开发和 Fluent ETL,具备全量和增量复制,异构数据库间的同步与转换,表级同步以及任务监控等能力。预计下个版本将新增实时数据校验、增量数据校验、自定义函数与聚合算子场景支持,同时将数据源补充到 50 个以上。了解 Tapdata 开源项目详情
Tapdata Cloud:一款异构数据库实时同步 SaaS 服务,支持主流的开源数据库、商业数据库、消息类中间件以及 SaaS 平台等(包括:MongoDB、MySQL、Oracle、SQL Server、DB2、Elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB 等),基于日志的数据库 CDC 技术,0入侵实时采集,毫秒级同步延迟,拖拽式的“零”代码配置操作,可视化任务运行监控和告警,通过 Tapdata Cloud 可轻松实现跨系统跨类型的数据实时同步。注册 Tapdata Cloud,永久免费使用