Tapdata 技术博客
Tapdata 技术博客

实时业务场景与离线分析场景有什么区别?| Tapdata

2022-07-22 18:17 Tapdata

交互场景对数据的诉求与传统的离线分析拥有本质不同。本文将从对实时的敏感性、准确性、数据量、单条数据价值,以及价值贡献方式这五个方面着手,具体分析实时业务场景与离线分析场景的差异与不同的技术侧需求。


首先是对实时的敏感性。离线分析场景从最典型的 T+1,到窗口分析的几分钟,已经是较为先进的时间诉求了。但在实时的业务场景下,客户的诉求一般是秒级。其次是准确性,通常,离线分析场景对数据的准确性要求没有那么敏感,一般是用几个 9 来描述,例如 99%、99.9%,主要是看趋势和效果,错几条可以重跑。但是实时业务场景大多数对应一个真实的业务诉求,对数据准确性的要求是 100%,也就是一条都不能错,每错一条都会导致直接的业务损失,而且由于实时业务的特殊性,错误弥补的成本也会很高。


再者是数据量离线分析场景的数据量一般很大,几百 T、数百亿都是很常见的数字。但是在实时业务场景中,很多业务的数据量并不会那么夸张,数十 G 作为典型值,已经是非常了不的数据规模了,这种差异也会自然给技术设计偏好带来一些改变。


单条数据的价值层面,离线分析场景中,数据的价格需要经过计算挖掘,每条数据集的单位价格并不高。但实时数据场景里的每条数据都是独一无二的,往往会对应真实的业务流程,单位价值极高。


最后是数据的价值贡献方式,分析场景下,传统应用方式包括通过报表看趋势做策略,新兴应用包括通过机器学习做一些自动策略,但归根结底还是属于旁路生效的价值体系。但在实时业务场景下,数据本身就参与了核心业务的流转,是从主路上去分享价值的。


面对这样的差异,Tapdata 基于 DaaS 架构,自研了首个同时支持 TP 和 AP 业务场景的实时数据平台——Tapdata Live Data Platform


SEO尾巴.jpeg

Tapdata Live Data Platform 是一个自带 ETL 的实时数据平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过 API 或者反向同步方式,为下游的交互式应用,微服务或交互式分析提供新鲜实时的数据。申请试用


Tapdata 工作机制




推荐阅读