Tapdata 技术博客
Tapdata 技术博客

喜报!钛铂数据 TapDB 通过中国信通院文档数据库产品测试

2024-07-23 11:17 TapData

在中国信通院组织的2024上半年“可信数据库”—文档数据库基础能力测试中,深圳钛铂数据有限公司(以下简称“钛铂数据”)旗下的钛铂分布式文档数据库(TapDB)顺利通过了所有测试项目,测试结果表明,该产品在文档数据库基本功能、高可用能力、安全能力、兼容能力、分布式能力和管理能力方面符合标准要求。


>>> 想要了解更多技术细节,指路文末「阅读原文」《TapDB 技术白皮书》


文章3.1.png

本次测试依据《大数据 文档数据库技术要求与测试方法》(T/CCSA 471-2023)标准开展,覆盖了包括基本功能、兼容能力、管理能力、高可用能力、分布式能力、安全能力等在内的多个关键技术领域,旨在全面评估文档数据库产品的核心能力。


文章3.2.png

TapDB 产品介绍

TapDB 是深圳钛铂数据有限公司拥有完全自主知识产权的,管理海量文档数据对象,同时适应于事务和分析场景的国产分布式文档数据库。

该数据库已经应用于银行、互联网、物流、电商、教育等多个行业;在处理 PB 级数据应用,跨区域快速调取,运输业务中实时提供地理数据,快速响应格式多样的电商订单等等许多业务场景中,显示出了强大的系统弹性、并发能力;并且大幅降低软硬件成本,为大中型企业的数字化转型提供了支撑。


文章3.3.PNG


TapDB 数据库产品架构图


文章3.4.PNG

TapDB 数据库 +   管理组件架构图


  • TapDB:数据承载组件,包含数据库服务端和存储引擎,是产品最核心的部分

  • TapRouter:数据路由组件,在分片环境中负责对客户端请求进行路由

  • TapAgent:实例代理组件,负责对同节点的数据库实例进行管理,并和管理组件进行交互

  • TapManager:数据库管理组件,负责对数据库节点进行管理及调度,并对外暴露服务接口

  • TapData:实时数据集成引擎,负责进行异构数据迁移同步

TapDB 关键原理


副本集 - 高可用

  • 副本集是一组维护相同数据集的进程, 用于提供冗余和高可用性。

  • 副本集包含多个节点,其中只有一个为主节点,其他节点为从节点。

  • 从节点复制主节点的操作记录并应用于其数据集,以便反映主节点中的数据变化。

  • 如果主节点不可用,则符合条件的从节点将进行选举,以将自己选举为新的主节点。

文章3.5.png


分片集群 - 横向扩展

  • 根据需要增加数据处理性能和数据容量

  • 多种数据分配策略:哈希、范围、区域

  • 数据自动均衡

文章3.6.png


TapDB 分布式文档数据库特点

1. 全面兼容及国产化支持

完全兼容国际主流文档数据库, 适配国产芯片(华为海思、飞腾、海光、鲲鹏等)和操作系统(麒麟、统信、欧拉等);兼容各主流语言及生态,包括C、C++、C#、Go、Java、Python、Ruby、Rust、Scala、Swift等。

2. 灵活的数据模型,支持异构数据汇总

TapDB 的数据模型,可以自然映射到代码中的对象,支持现代开发框架,打破开发人员和 DBA 团队之间复杂的相互依赖关系;可以表示任何结构的数据,具备多态性,每个文档可以包含不同的字段,以及随时修改Schema。

3. 灵活的横向拓展能力和高可用能力,跨区域多数据中心支持

原生支持的高可用,支持跨服务器、机架、区域和大洲的部署;故障自动接管且无任何单点故障;支持从任意节点读取;高效的分片机制,包括哈希、范围、区域等多种分片策略,按需增加数据处理性能和数据容量,自动均衡数据。

4. 自动化部署及配置

通过可视化界面自动运行数据库管理任务,例如:部署、升级、扩容等;提供快速部署单机、副本集和分片集群的能力;集群的所有更新均以滚动方式应用,确保尽可能减少中断依赖于集群的应用程序。

5. 集成监控和警告

通过数十个优化图表突出显示重要指标,从而获得丰富的性能可见性;轻松与现有的告警平台集成,并向各种端点发送自定义警报,以避免出现潜在问题。

6. 审计控制及安全

记录鉴权相关的操作,以便用户能够跟踪操作历史和识别安全威胁;用户可以使用审计功能来查看谁执行了哪些操作以及何时执行的操作,以帮助监控TapDB部署的安全性。

7. 性能追踪及分析

自动识别性能问题,记录运行缓慢的查询,并提供检索及下载功能;追踪索引使用情况,并提供智能的索引优化建议;直接从可视化平台中对索引进行构建及管理。

8. 备份及恢复管理

原生的数据 dump 和 restore 工具,在TapDB 发生故障时,可获取含有最新数据的备份,从而最大程度地降低数据丢失的风险;此外还有强大的 TapData 数据同步组件,除了可以实时同步数据库,实现数据中心的灾备、双活/多活部署,还提供实时异构数据的汇聚和服务功能。

【推荐阅读】:

推荐阅读