近日,TapData 官方发布了最新的性能测试报告,该报告详细展示了 TapData v3.5.13 在各种数据源下的性能表现,包括全量同步、增量同步、读写延迟等关键性能指标。
随着企业对实时数据集成和处理能力需求的提升,TapData 凭借其高效、稳定的系统架构,逐渐成为行业中的领先解决方案。为了帮助大家更好地了解 TapData 的性能表现,我们着手推进了多场景、多维度的性能测试。通过这些测试,TapData 展现出卓越的性能和处理能力,能够轻松应对大规模数据集成的复杂场景。
本次测试涵盖了多种主流数据源,包括 Oracle、MySQL、Kafka、MongoDB、PostgreSQL 等,具体涉及以下几个方面:
全量同步性能:测试 TapData 在处理大量数据时的吞吐量及效率,例如 Oracle 到 ClickHouse 的全量同步吞吐达到了 250k RPS,而 Kafka 到 ClickHouse 的吞吐表现高达 210k RPS。
增量同步性能:评估 TapData 的实时数据同步能力,尤其是在高并发和数据变化频繁的情况下。测试显示,TapData 的增量同步在 MongoDB 环境下,增量读取的吞吐量达到 19k RPS,延迟保持在 1 秒以内,极大保障了实时数据更新的需求。
读写延迟及处理能力:报告对 TapData 在不同数据库间的读写延迟进行了详细分析。以 Oracle 数据源为例,增量同步的延迟在 LogMiner 模式下保持在 3 秒内,而直接日志解析模式下的增量读取吞吐量达到 62k RPS。
除此之外,测试还评估了 TapData 的高并发处理能力和系统的扩展性表现。通过对处理器和引擎的优化,TapData 在 1KB 数据场景下实现了高达 450k RPS 的引擎性能。同时,测试报告还揭示了在复杂数据处理场景下,TapData 系统如何保持稳定高效的运行表现。
测试范围包括同步引擎自身的性能测试,不同数据库之间同步数据的速度和延迟,以及增加处理器后的性能表现,包括:
评估同步引擎的极限吞吐
以 Oracle 为例,测试 TapData 对传统 SQL 类数据源的全量读取吞吐,增量读取延迟,与全量、增量(混合写入) 吞吐性能
以 ClickHouse 为例,测试 TapData 对数仓的读写性能,包括全量吞吐与增量吞吐
以 MongoDB 为例,测试 TapData 对 NoSQL 数据库的全量读取吞吐,增量读取延迟,与全量/增量(混合写入)吞吐性能
以 Kafka 为例,测试 Tapdata 对消息队列的全量读取吞吐与写入吞吐性能
评估常见数据源,包括 MySQL、PostgreSQL 等的同步性能,包括做源时的全量读取吞吐,增量吞吐与延迟,做目标时的全量写入吞吐,增量(混合)写入吞吐
评估常见处理器的处理速度
评估多字段时性能表现情况
本次性能测试的关键结果如下:
*备注:
TapData 有两个 Oracle 连接器,有两种不同的 CDC(变更数据捕获) 实现,分别为“Direct”和“Logminer”
Kafka 连接器不适用 CDC,因为 Kafka 是一个数据流平台而不是数据库
ClickHouse 不支持 CDC,并且对更新的支持有限
单位以每秒打点为单位,其中每条记录约有 50 个字段,共 1kb 的数据
全量同步是指从源端读取所有数据并插入到目标端的初始过程
增量是指 CDC 捕获增量插入、更新和删除,然后相应地更新目标
端到端完全同步性能结果:
Kafka 到 ClickHouse(全量同步):210k
Oracle 到 ClickHouse(全量同步):210k
Oracle 到 Kafka(全量同步):62k
TapData 将持续致力于推动数据集成技术的创新,为客户提供更强大的数据管理和处理能力。
完整报告已上传至 TapData 官网,欢迎大家查阅。如有任何问题或建议,请随时与我们联系!
【推荐阅读】:
服务行业的数据管理实践:TapData Cloud 如何助力连锁酒店物业的全球化运营优化
一文读懂什么是数据即产品(Data as a Product,DaaP)
高效数据移动指南 | 如何快速实现数据库 Oracle 到 Apache Doris 的数据同步?
行业认可 | 钛铂数据喜获2024爱分析 · 数据智能优秀厂商奖