教育中台与第三方系统对接整合数据案例

2021-01-22 10:00

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。


一、关于秦淮区教育数据中台

作为智慧校园建设的一个重要组成部分,南京秦淮区教育局前段时间上线了区教育数据中台。借助Tapdata 实时数据服务平台产品,区教育数据中台实时地汇聚了原各类教育应用系统的数据,将原本分散在各处,多个版本的数据,最终统一到了教育中台,形成了一套秦淮区标准的教育主数据。
秦淮教育中台架构如下:

二、市级创客大赛对数据的需求

南京市第五届中小学创客大赛,要求全市参赛的中小学生统一通过市教育认证中心登录注册参赛。
市教育认证中心内的全市中小学生个人信息是由南京市各区的教育主数据汇集而成。
秦淮教育数据中台,承担与市教育认证中心对接,提交区内教育主数据(教师和学生信息)的任务。
当各区学生数据提交到市级教育数据库后,学生在市教育云端进行注册并确认信息,即可参加比赛。



三、对接API接口的技术要求

1. 区级学生数据需要实时推送到市级教育认证中心的API接口,任何数据更新都能及时同步到市级数据库。

2. 推送的学生数据必须包括:姓名、身份证、学校、学段、年级、班级、班级编码。

3. 班级编号必须是市级根据学校、学段、年级、班级所确定的统一班级编码。

4. 市教育认证中心的API接口,用于接收各区推送的教育数据,同时也下发市级教育的统一规范数据表,比如组织代码表,班级信息表等。班级信息表中包括了班级编码。

所以,秦淮教育中台,同时要从市级API接口读、写数据来完成整个数据对接任务。


四、教育中台与API对接的实施步骤

1. 根据市级API接口规范,拉取市级的班级信息表;

2. 合并市、区班级信息,获取符合市级统一的班级编码;

3. 根据API接口规范,向市级API实时推送学生信息表。

对接市教育API接口示意图

五、API数据对接中,教育中台的三个能力

1. 外部API接口作为数据源,同步数据到教育中台

根据市教育的API接口规范,直接拉取市班级信息表,并同步到MongoDB数据库中。


2. 数据同步任务,可以灵活方便地完成各种数据的业务逻辑

从API接口拉取到的市班级信息,并不能立刻与区班级信息匹配合并。

原因是,市班级信息中,中学学段的年级码从小学一年级入学起算的,比如初一的年级码是“2013”,初二是“2012”;
而区班级信息中,中学学段的年级码是从初一入学起算的,比如初一的年级码是“2019”,初二是“2018”;
所以,需要在同步任务中保留原有的年级码,同时新增与市班级信息匹配的年级码,以获取学生所对应的市级班级编码。

通过简单地图形化拖拽配置,方便地拉取市班级信息,然后与区班级信息合并。如下图:

根据市教育认证中心提供的账号、密码、组织编号。

教育中台在自定义目标端中,灵活地按照接口要求,把账号、密码、组织编号组合成了MD5格式的token,以验证连接。并成功地把学生信息及相应的班级编码,通过API调用,实时推送到了市教育库中。
教育中台的学生信息表,有新增、修改等都可以实时推送到市教育库。

教育中台调用市教育API接口,实时推送数据任务截图

至此,秦淮教育中台,通过与市教育API对接,实现了教师和学生的数据整合,如下图。


总结:教育中台在API对接中的特点


1. 开发便捷

在教育中台建设并投产前,类似的数据集成或API 开发,通常需要协调多个供应商。从讨论需求,到项目预算审批,以及最后建设与联调,通常需要数月时间。
采用数据中台方案后,整个API对接工作,包括与市库的数据联调,仅仅用了4个人天。这里面最关键的原因有两点:
  • 所有主数据已经通过中台的汇聚能力提前得到统一,不需要协调多方

  • 低代码API 对接能力及云化的部署能力,意味着对接的工作可以快速实现及快速部署

事实上,项目中涉及到的教师和学生数据的拉取、推送,班级信息的整理合并,只需要两个图形化配置任务,200多行的脚本就全部完成。

2. 数据实时

和传统的方案相比,教育中台与市API接口的对接能够达到秒级的数据同步能力。以前的数据更新一般都需要一天时间,在夜间进行批量更新。在本次方案中,学生数据的更新,会在第一时间准实时同步到市级数据库,中间间隔最多不超过5秒。为第三方系统使用数据提供了最好的用户体验。 这个特点是Tapdata 实时数据服务平台提供的一个特色。


推荐阅读

Tapdata 推出“钛计划”公益项目,着力打通数据孤岛助推社会数字化升级

为响应数据要素市场化配置改革政策方向的指引,Tapdata 推出“钛计划”打通数据孤岛公益行动,面向非盈利机构(如各城市政务服务数据管理局、社会公益组织/项目等)以及为社会培养数据技术人才的相关培训机构,提供 Tapdata 实时数据服务平台的特殊免费授权,助推公共领域数据互通、共享与实时应用......

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata Cloud 是什么?

Tapdata Cloud 是钛铂数据自研的异构数据库实时同步工具 Tapdata Replicator 的云服务版本,现在免费提供所有开发者和企业使用Tapdata Cloud 目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 之间的数据迁移和同步,未来将陆续上线 DB2、Sybase ASE、Redis、Kafka 等。

什么是数据即服务(Data as a Service)?

数据即服务(DaaS)是一种数据管理策略,旨在利用数据作为业务资产来提高业务创新的敏捷性。它是自 1990 年代互联网高速发展以来越来越受欢迎的“一切皆服务”(XaaS)趋势下关于数据服务化的那一部分,介于 PaaS 和 SaaS 之间。与 SaaS 类似,DaaS 提供了一种方式来管理企业每天生成的大量数据,并在整个业务范围内提供这些有价值的信息,以便于进行数据驱动的商业决策。同时,我们也...

什么是数据虚拟化(Data Virtualization)?

本文将简单易懂地介绍数据虚拟化技术及数据虚拟化软件架构的实现方法,尽量避免教条主义。如需要了解虚拟化定义,可通过wiki 百科了解。先引用一段百度百科的文字来说明数据虚拟化的定义:数据虚拟化(data virtualization)是用来描述所有数据管理方法的涵盖性术语,这些方法允许应用程序检索并管理数据,且不需要数据相关的技术细节,例如它格式化的方式或物理位置所在。正如百科的定义,采用数据...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...
联络我们:
Email:team@tapdata.io    电话:0755-26656080
深圳市南山区临海大道香江金融中心 2410-13
官方服务号
Tapdata 微信公众号
扫码关注