基于上述对于数据中台的理解和定义,我们列出了数据中台所应该具备的技术需求。

主要是分为:数据存储系统数据同步汇聚工具数据治理和开发数据交换和发布、数据管理能力五大模块。

如下表:

 

模  块 关键能力 备  注
数据存储系统 横向扩展能力 中台需要具有能够收纳企业所有业务系统数据的能力
灵活数据模型 中台数据模型多为整合多个源系统, 并且需要不断支撑新型需求, 需具有灵活建模的能力
高并发低延迟响应能力 中台支持交互式应用, 并有可能直接穿透到客户, 需提供毫秒级数据访问能力及高连接数能力
同城高可用及异地备份 中台支持的为前端业务系统, 必须具有 24×7,99.9%的高可用能力, 以及异地热备的能力
数据安全 存储加密, 传输加密, 字段加密, LDAP 认证, 鉴权, 稽核
数据同步汇聚工具 批量同步及导入能力 能够把已有业务数据一次性或定期方式导入到中台
数据库实时同步能力 以 CDC 方式, 在3~5秒延迟内将数据从源生产数据库同步中台存储系统, 保证最佳用户体验
数据库及其他数据源支持 DB2, Oracle, PG, SQLServer,  DW, Hadoop, CSV, Legacy 及 API 接口等等
断电续断传机制 系统中断后可以从中断继续, 不会丢失数据更新
异构数据模型整合能力 支持不同源系统不同结构数据模型在同步过程中同时进行模型转换, 如转换 JSON 格式
数据治理及开发 数据目录及元数据管理 需提供一个可自定义数据目录的管理能力, 有效组织中台内众多的数据类型。支持修改描述, 搜寻等功能
数据建模 支持在中台内进行按照业务需求动态建模, 包括新建模型, 多表合并或关联合并
数据开发 支持在中台内进行数据的一些处理及计算, 如转换栏位类型, 栏位增强, 数据合并等
数据质量管理 支持定义数据规则并对违规数据进行统计, 检查及修订等
数据匹配去重 中台需提供唯一数据 ID 能力。来自不同源系统的同一个数据实体 (如客户) 需能够进行匹配及去重
数据交换及发布 无代码 REST API 快速发布能力 中台的数据模型需要能够即时的以 API 方式发布出去
REST API 订制能力 可按照需求进行级及列级的过滤
API 文档及测试 提供工具让用户了解 API 的使用方式并进行测试
SQL 计算接口 允许让 BI 及报表用户以 SQL 方式来查询数据
横向扩展及高可用 能够随着使用量的增加和进行能力扩展
大数据计算接口 提供 Hadoop/Spark 数据计算框架的对接能力, 能够直接与其对接提供数据进行数据运算并收集计算结果
流计算接口 提供 Kafka 或类似的流处理计算框架的对接能力, 能够向 kafka 以 producer 方式提供数据或者以 consumer 方式消费数据
系统管理能力 可视化任务设计 通过 UI 进行数据开发任务的设计及调整
任务调度及监控 提供任务调度及任务运行状况实时监控, 了解数据同步或者处理进度
日志管理 系统运行日志监控及搜寻
告警机制 异常事件如任务中断即时报警
用户权限管理 创建、修改中台管理用户, 角色及权限配置等
数据备份及恢复 数据的即时备份及指定时间点恢复能力
集群管理及监控 中台系统集群的部署管理, 运行状况监控等。