Tapdata 数据中台在智慧教育中的实践

2019-11-18 10:00

教育行业信息化工作已经实施多年,南京秦淮区教委在这方面走在前列,并进行了大量尝试。

2018年4月教育部颁布了《教育信息化2.0行动计划》,随着AI人工智能,大数据,移动互联网兴起,在之前教育信息化实施的基础上,秦淮教委根据南京市创建智慧校园的要求,率先进行智慧教育的尝试,释放教育系统的生产力,并为教育创新提供了巨大的空间。

秦淮教委在逐步推进智慧校园的时候,无可避免地遇到了一些挑战,而Tapdata的数据中台解决方案,及时而恰当地帮助他们克服困难,解决了实施中的基础数据问题,并推动智慧校园能够实时、快捷、灵活地落地实践。

那么,

  • 智慧教育实施过程中的痛点和挑战是什么?

  • Tapdata数据中台是什么?如何解决上述问题?

智慧教育实施过程中的痛点和挑战

秦淮区教师发展中心是区智慧校园的整体架构和推动者,承担设计、组织和管理工作。依照南京市智慧校园的创建标准,秦淮区的智慧校园架构如下图

edu archtect

智慧校园创建的底层要求

从上面的架构图中,可以看到设计者的思路:

  • 覆盖宽广,包含区级、校级和个人层面的教育对象、资源、环境、工具和管理等统一认证和识别;

  • 高度整合,各个应用之间虽然相对独立,但又相互关联;

  • 开放生态,校级可以自行发起新应用,并在区全局推广,各应用互为补充,自由增、删、组合,形成生态系统;

  • 方便快捷,快速部署和落地新应用,为教育创新提供支持。

教育信息化的现状和特点

一方面,架构反应出智慧校园创建中,一些非常贴合实际的诉求。另一方面,通过多年积累,秦淮教委有着自己的基础特征。

1. 扎实的基础设施和人员应用能力

有线无线,高速宽带遍布各个校园;

教师,学生、家长在电脑和移动终端的普及应用;


2. 大量的基础数据积累

学籍管理系统包含了大量的学生信息;

校园各自建立的OA办公系统积累许多学校管理信息;

各种FTP服务器沉积了各类Excel、CSV等教学教研信息。


3. 众多应用随之而生


区教育系统平台一览表

edu app table

面临的挑战和痛点

至此,从上述分析中我们可以看到,基于当前教育信息化的现状和特点,要实现智慧校园的底层要求,秦淮教委在这一轮智慧教育的实践中,无可避免地遇到一些痛点和挑战

  • 应用繁多,各类应用平台自成一体,有着各自的用户管理系统和数据库。

  • 数据孤岛,各个应用在教育业务层面上相关,但数据各自独立, 很难使这些数据联合起来发挥作用。

  • 整合能力弱,应用开发商整合能力弱,原来的数据结构无法适应教育发展的新需求。

  • 数据再利用,历史数据并入智慧校园架构困难,有的已经无法找到原供应商提供支持。

  • 规模效应,辖区内各个学校早期独立使用的应用,在数据上无法形成规模效应。


上述情况,举两个例子说明。

一是基础数据的集合和统一。区属教师的基础信息在科大讯飞的教育信息系统中。在微研的教师发展平台系统中也包含有部分字段的教师基础信息,同时还有辅导、论文和课题等信息。人脸识别一卡通数据又在腾讯的企业号系统中。这样产生了一个让人头疼的问题,就是在维护基础信息的时候,需要在多个应用中不停地切换,更新多个库的信息,非常的困难,效率低下。

二是各类数据的联合应用。2018年秦淮教委开始了一个”AI智慧课堂”的项目,通过在课堂架设录像设备,采集教师和学生上课时的行为并进行分析。例如通过采集学生在上课时,趴桌子、看手机、听讲、书写、发言、阅读,以及教师的板书、互动等行为,并分析得到每个学生上课时的专注度指数。半年多实施后,通过与班主任的交流发现多数学生情况还是符合的,但是也出现有学生专注度指数高,但考试成绩不理想,以及学生专注度指数很低,但考试成绩很好的两类特殊情况。而”AI智慧课堂”的应用如果能和每个学生的作业数据、考试数据、阅读习惯数据、社团数据、社交数据等等联合、碰撞从而产生新的数据,那么无疑能极大推动教育的创新。

从上述的痛点挑战,以及事例中可以发现,在秦淮教委创建智慧校园中,有着以下的数据处理和应用的需求

  1. 汇聚各个独立应用的数据,打通数据孤岛;在众多应用之上集合数据,形成统计类型的数据大屏,方便实时地掌握各类信息。

  2. 适应未来教育发展,个性和多样的非结构化数据;教师和学生这类关于人的描述数据,会越来越全方位、多样化和个性化,需要底层的数据结构能够灵活的适应教育发展的需要。

  3. 通过汇聚海量数据,联合应用,提供教育洞察;学习行为分析系统,与学生成绩系统、操行评价系统等整合,可以为教研提供的数据依据和判断。

  4. 为系统中的各类对象和角色,快速提供灵活多样的信息;学生、教师、家长、学校、教研、行业、管理部门等等各类角色,可以在实时地、有权限地获得各类数据。

  5. 让教育行业的工作者、研究者和专家释放生产力,专注于业务领域的应用,而不必关注和受限于底层的数据管理。汇聚全方位数据,为教学教研、教育心理、营养健康、运动、组织行为等研究提供数据服务。

针对上述需求和挑战,各类选型方案比较

  • 自建方案;教育系统自行建设,费时费力,需要大量IT和数据处理及应用的专业人士。

  • 单项应用招标;为各类业务需求,单独招标采购,产生了大量账号、统计口径和数据孤岛。

  • 大数据平台;类似于Hadoop,的确是数据分析的能手,但是反应慢,信息滞后,同时耗用大量硬件资源。

  • 数据中台;保护原有投入,打通所有相关数据库,真正的实时信息,兼容全类型开发数据,无限地扩充应用。

Tapdata数据中台是什么?是如何解决上述问题的?

Tapdata数据中台简单来说是一个数据处理和应用的服务,即DaaS,( Data as a Service ),包含了从数据汇聚,到数据治理和编目,最后数据服务的三个层面。对应用了从数据输入,到数据整理,最后数据输出的三个过程。

在智慧校园创建中,后台(或者说是底部)有着各类应用形成的丰富数据资源,而这些数据资源却不能统一、快捷、实时地支持前台(或者说是上部)的使用,很大地限制了这一轮智慧教育的设计和需求的实现。

根据Gartner提出的 Pace-Layered Application Strategy理论,如果智慧校园是一台引擎,那么它的后台基础数据资源和前台应用这两个齿轮的速率是不一样的。后台基础应用慢而长,需要稳定可靠,而前台业务应用快而短,需要快速响应。这种齿轮速率的”匹配失衡”最终拖累引擎的表现。

而Tapdata数据中台就象是一个变速齿轮,在其中很好地协调前后台,让基础数据资源顺畅地流向用户,同时更好地服务于前台应用的创新,恰当地解决了创建智慧校园的痛点。


Tapdata数据中台是如何解决的?

Tapdata DaaS 数据中台架构图

Tapdata 数据中台

  1. 通过Tapdata数据中台的采集模块,打通智慧校园系统中的各类数据孤岛,把所有数据汇聚到数据库。Tapdata DaaS 是采用MongoDB数据库来进行存储。MongoDB的海量和并发两大特性非常方便地为智慧校园系统提供横向扩展,也就是说,她可以随着智慧校园系统的发展不断成长。


  2. 各类应用孤岛中的数据被采集后,并不是简单地存储。首先数据编目是元数据管理,例如对所有的应用打上标签,包括数据是从哪个应用的哪个数据库来的,数据类型是什么,业务是什么,后面对接的应用是什么。一旦上层的应用发现数据有错误,可以通过数据编目来进行数据溯源,或者血缘分析,可以追溯到表级别、记录级别甚至是字段级别。其次是数据治理,针对在数据采集或者同步过程中,一些不符合规则和要求的脏数据,进一步进行处理。


  3. 数据服务是向外数据分发。传统的开发模式是DB在后台写数据查询和SQL分析,增加或修改一个查询接口要用到一周时间,费时费力。而Tapdata数据中台的API服务是遵从RestFul标准,并且只要通过在界面上的配置,5分钟可以完成一个API的分发。


Tapdata数据中台的技术特点

  • TB/PB级的数据量

  • 基于NewSQL分布式数据库

  • 使用日志及流的实时数据采集

  • 毫秒级数据响应能力

Tapdata数据中台在智慧校园中的业务架构

logical arch

目前Tapdata先将各个应用,比如OA办公系统、教师发展平台、视频直播平台等,其中的数据全部采集到MongoDB数据库中,经过数据治理和编目后,将数据发布出来。数据分发至多个应用,比如Dashboard,包含有数据大屏,以及不同颗料度大小的统计报表;也同时可以满足其他开发商的应用需要;并且也提供给辖区内各个学校。

Tapdata数据中台在智慧校园中的物理架构

physical arch

在这里Tapdata为智慧校园部署了一个企业级的应用系统。其中包括MongoDB的分布式数据库,Tapdata的各个产品,以及备份措施。TapManagement是一个管理服务,通过Nginx作为UI界面,TapReplicator是一个数据采集模块,通过TapManagement配置和管理,把采集来的数据放入MongoDB数据库。同时TapManagement还具有数据治理和编目的功能。最终通过TapAPI服务将数据进行发布。

在数据采集TapReplicator模块中,支持的源端数据是非常多,包括Oracle、SQLserver、MySQL等各类数据库,也包括Kafka、MQTT、Log、Socket等各类流数据,还包括Excel、CSV、XML、Binary等各类文件数据。同时支持断点续传、同步校验、故障自动转移等各种功能。


推荐阅读

Tapdata 推出“钛计划”公益项目,着力打通数据孤岛助推社会数字化升级

为响应数据要素市场化配置改革政策方向的指引,Tapdata 推出“钛计划”打通数据孤岛公益行动,面向非盈利机构(如各城市政务服务数据管理局、社会公益组织/项目等)以及为社会培养数据技术人才的相关培训机构,提供 Tapdata 实时数据服务平台的特殊免费授权,助推公共领域数据互通、共享与实时应用......

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata Cloud 是什么?

Tapdata Cloud 是钛铂数据自研的异构数据库实时同步工具 Tapdata Replicator 的云服务版本,现在免费提供所有开发者和企业使用Tapdata Cloud 目前支持 Oracle、MySQL、PostgreSQL、SQL Server、MongoDB、Elasticsearch 之间的数据迁移和同步,未来将陆续上线 DB2、Sybase ASE、Redis、Kafka 等。

什么是数据即服务(Data as a Service)?

数据即服务(DaaS)是一种数据管理策略,旨在利用数据作为业务资产来提高业务创新的敏捷性。它是自 1990 年代互联网高速发展以来越来越受欢迎的“一切皆服务”(XaaS)趋势下关于数据服务化的那一部分,介于 PaaS 和 SaaS 之间。与 SaaS 类似,DaaS 提供了一种方式来管理企业每天生成的大量数据,并在整个业务范围内提供这些有价值的信息,以便于进行数据驱动的商业决策。同时,我们也...

什么是数据虚拟化(Data Virtualization)?

本文将简单易懂地介绍数据虚拟化技术及数据虚拟化软件架构的实现方法,尽量避免教条主义。如需要了解虚拟化定义,可通过wiki 百科了解。先引用一段百度百科的文字来说明数据虚拟化的定义:数据虚拟化(data virtualization)是用来描述所有数据管理方法的涵盖性术语,这些方法允许应用程序检索并管理数据,且不需要数据相关的技术细节,例如它格式化的方式或物理位置所在。正如百科的定义,采用数据...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...
联络我们:
Email:team@tapdata.io    电话:0755-26656080
深圳市南山区临海大道香江金融中心 2410-13
官方服务号
Tapdata 微信公众号
扫码关注