• 常见搭建数据中台的技术产品

数据中台包括:统一数据平台,数据同步,数据治理,数据服务四大部分。

下表列出了这四大部分中相应的技术产品。

数据平台 数据同步 数据治理 数据服务
Hadoop/HDFS/Hive Kafka Apack Atlas Spring
Teradata Kettle Informatica Kong
MongoDB Flink Erwin Kafka
Greenplum Spark ETL Oracle Loopback
MySQL Cluster Talend WhereHow Mulesoft
Oracle Informatica Tapdata CA
Transwarp Golden Gate APIGee
Elastic Search Tapdata Tapdata

 

  •  数据统一平台的特点对比

主要特点 主要场景 主要局限
关系数据库/RDBMS

– 数据库之鼻祖

1980s-1990s

取代文件方式数据存储

基于关系模型与SQL

最主流的数据库

交互式业务

资源计划ERP

客户关系CRM

业务流程BPM

严格模式不够灵活

难以横向扩展

难以支持非结构化

数据仓库/MPP

–  解决关系型数据库的扩展能力问题

2000s

突破关系型数据库的性能及容量瓶颈

批量分析

历史数据Archive

商业智能BI

数据分析Analytics

解决了90年代的大数据,

但是解决不了移动互联网时代的大数据

结构严格,不支持非结构化数据

大数据/Big Data

– 处理移动时代的海量数据和非结构化数据

2010s

突破数据仓库容量瓶颈

有效管理非结构化数据

批量处理

历史数据Archive

标签系统Personalize

推荐系统Recommend

架构复杂难懂

基于HDFS文件系统

批处理为主要目标

性能无法满足交互式

NoSQL

– 海量,非结构化数据及交互式性能

2020s

分布式架构

灵活模型(JSON)

实时交互

全文搜索Elastic

高速缓存Redis

高并发读写MongoDB

日志处理Cassandra

大部分缺乏事务性

功能不够全面