教育中台与第三方系统对接整合数据案例

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。   一、关于秦淮区教育数据中台 作为智慧校园建设的一个重要组成部分,南京秦淮区教育局前段时间上线了区教育数据中台。借助Tapdata...

数据中台的技术产品和比较

数据中台的技术产品和比较

常见搭建数据中台的技术产品 数据中台包括:统一数据平台,数据同步,数据治理,数据服务四大部分。 下表列出了这四大部分中相应的技术产品。 数据平台 数据同步 数据治理 数据服务 Hadoop/HDFS/Hive Kafka Apack Atlas Spring Teradata Kettle Informatica Kong MongoDB Flink Erwin Kafka Greenplum Spark ETL Oracle Loopback MySQL Cluster Talend WhereHow Mulesoft...

周生生案例展示

周生生案例展示

周生生,源于1934年,中国内地、香港、澳门、台湾著名的的黄金珠宝企业。其名喻意周而复始,生生不息。周生生于1973年成为香港首家上市的黄金珠宝公司,其股票编号116。时至今日,已成为在大中华地区以企业管治严谨、服务殷勤专业、和产品优质精良见称的珠宝企业。周生生在原有手工盘点基础上,启动销售、生产、库存三方联动的盘点系统。其原方案为以数据变动产生的trigger,通过http方式,请求MQ,通过java接口程序,向目标端同步数据。 MQ直连生产环境,对销售系统产生极大影响;...

数据中台的技术模块

数据中台的技术模块

基于上述对于数据中台的理解和定义,我们列出了数据中台所应该具备的技术需求。 主要是分为:数据存储系统、数据同步汇聚工具、数据治理和开发、数据交换和发布、数据管理能力五大模块。 如下表:   模  块 关键能力 备  注 数据存储系统 横向扩展能力 中台需要具有能够收纳企业所有业务系统数据的能力 灵活数据模型 中台数据模型多为整合多个源系统, 并且需要不断支撑新型需求, 需具有灵活建模的能力 高并发低延迟响应能力 中台支持交互式应用, 并有可能直接穿透到客户, 需提供毫秒级数据访问能力及高连接数能力 同城高可用及异地备份...

理解数据中台

理解数据中台

数据中台定义: 以打通部门或数据孤岛的统一数据平台为基础,构建统一数据资产体系,并以API服务方式为全渠道业务(分析 + 应用)提供即时交付能力的企业级数据架构。 首先,统一数据平台。 数据中台也是一个数据统一的平台,它不会取代原来的系统,而是把原来组织中分散在各系统中的数据汇聚到统一平台之中。 其次,数据资产体系建立。 与数仓及其它大数据平台不同的是,汇聚统一之后,做数据资产体系规划。对数据打标签,组织目录和结构,便于发现和使用。 最后,提供数据服务。...

现代企业数据架构及痛点

现代企业数据架构及痛点

TJ,唐建法,Tapdata钛铂数据CTO,MongoDB中文社区主席,原MongoDB大中华区首席架构师,极客时间MongoDB视频课程讲师。 “怎样可以来搭建一个数据中台?”身处数据处理行业,经常被客户问到这样的问题。 数据中台到底是什么,是产品、技术还是一个架构......, 在关于数据中台的概念铺天盖地的时候,TJ为你展示,数据中台的架构,如何在技术上实现,如何在企业落地,并实实在在解决问题。 共分五部分: 1. 现代企业数据架构及痛点 2. 理解数据中台 3. 数据中台的技术模块 4. MongoDB数据中台方案 5....

关系型数据库到MongoDB实时数据同步解决方案

关系型数据库到MongoDB实时数据同步解决方案

关系型数据库 - MongoDB异构同步新型应用往往具有大量读操作和高并发的特征, 传统主机架构性能扩展不易,成本太高且开发困难。 直接更换核心系统更加困难。 采用CQRS 模式,数据同步到分布式数据库,并在上面开发新型应用。关系型数据库基于单机架构,不容易横向扩展,难以支撑现代应用所需要的海量数据。 物联网,新一代CRM等系统需要灵活的数据模型来支撑非结构化和半结构化。 使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB。 使用Tapdata...

基于GridFS的异地分布式存储构建的数据中台

基于GridFS的异地分布式存储构建的数据中台

中国石油大学是教育部直属全国重点大学,是国家“211工程”重点建设和开展“985工程优势学科创新平台”建设并建有研究生院的高校之一,是石油石化高层次人才培养的重要基地,被誉为“石油科技、管理人才的摇篮”。中国石油大学(华东)作为海洋环境大数据存储结点,针对海洋环境大数据分散自治的特点,研究存储资源的聚合方法,将分布式存储资源形成统一数据空间,设计“逻辑上静态、物理上动态可扩展”的数据存储策略。 PB级数据存储及访问 结构化、非结构化数据的存储 数据存储量快速增加 集群提供数据自动备份能力...

从Oracle到MongoDB,东方航空RTDP业务实时同步方案

从Oracle到MongoDB,东方航空RTDP业务实时同步方案

通达全球177个国家1074个目的地的航线网络,年旅客运输量超过1.1亿人,位列全球第七。 东航在原有的OD系统之上,自建前端管理系统,需要数据准备。 原数据方案是从Oracle同步到Cassandra数据库。 Oracle 同步过来的数据非实时,有数据滞后问题,影响到某些实时性较高的应用场景开发。 Cassandra数据库模型比较难于理解,工程师学习难度。 Cassandra只支持KeyValue,不支持二级索引,限制了使用场景。 架构较为复杂,缺乏有效管理手段及相应的技术储备。...