Tapdata 技术博客
Tapdata 技术博客

“数聚赋能”,让实时数据中台成为惠企、惠民政策服务应用的源头活水

2022-04-25 10:25

淄博市大数据局 x Tapdata,赋能智慧政务


随着“最多跑一次”改革的持续深化,数据资源作为改革扎根的土壤,其重要性也被频繁提及。如何通过加强数字化建设,以数据驱动服务模式创新,实现利企便民、促进治理体系和治理能力现代化,也就成了各政务部门普遍关注的问题。


一、服务创新的落地瓶颈

烟囱孤岛、重复建设,难提升的数据资源利用率


然而,在政务服务创新的落地过程中,由于各区域、部门的信息化建设常常受限于各种原因,导致政务信息难以实时互通,逐渐形成难以拆除的“数据烟囱”,同时也会造成系统功能重叠、应用分散、协同困难等问题,极大影响了数据资源的利用效能,被普遍视作政府数字化进程中的拦路石。因此,政府部门也就迫切需要将这些封存的海量数据释放出来,转变为辅助服务型政府数字化管理运营的“活水”。


作为“互联网+政务服务”形势下的积极探索,政务数据中台能有效打破数据壁垒、减少重复建设,助力各部门、各层级间的数据资源实时共享、高效复用,为政务数据的价值挖掘和灵活应用提供坚实的数据底座。


某市大数据局便是这一模式的积极践行者,通过 Tapdata Real Time DaaS 易部署、低代码、可视化的优势,快速落地了政务云数据中心,为各部门访问、获取数据开放快速通道。


二、实时互通共享的政务云数据中心

工商、民政、人社等多源数据共享平台


正因为各类政务服务系统在历史建设和运行的过程中,产生了大量兼具经济和社会价值的数据信息,对这部分数据资源进行合理地采集、整合、管理与应用,充分发挥其应有的价值就显得至关重要。而在前期的数据采集环节,传统的 T+1 抽取方式,无论在数据完整性还是实时性上,都很难做到切实保障,而 Tapdata 基于 T+0 的数据采集模式恰好可以填补这一需求。这也是该市大数据局选择与 Tapdata 携手搭建政务云数据中心的原因之一。


① Tapdata 技术优势

面对避免重复建设、全面连接数据孤岛,以及政务应用国产化等实际需求,Tapdata 具有天然优势:

  • Tapdata Real Time DaaS :数据孤岛终结者

      作为一款基于数据即服务(DaaS)架构理念自主研发的数据平台,Tapdata 可以快速连接孤岛系统,构建敏捷型的实时数据服务平台,有效避免重复建设。


Tapdata Real Time DaaS 架构图


  • 纯国产自研

      Tapdata 在自主知识产权方面兼具优势,对国产数据库更友好,技术更加可控。


② 平台架构

该市政务云数据中心由政务云数据库、Tapdata 集群,以及政务云目标库这三部分组成,是加强数据资产管理、提升政务数据资源利用率、提升政府服务品质的重要设施。


淄博市大数据局政务云部署图,Tapdata 集群


该市大数据局基于 Tapdata 在数据迁移、同步、建模、发布方面的综合能力,将工商、民政、人社等多个政务系统库的源数据抽取并实时融合起来,经由 Tapdata 直接按照业务需求进行库表同步、宽表合并、聚合、建模等汇聚到数据中心,最后由 Tapdata API 服务统一管理和发布。针对独立卫健委数据中心,在其中单独设置了同步引擎节点,对接 Oracle 数据库前置机进行数据同步,有效满足了用户原有的安全部署架构。


由此实现数据实时打通、跨平台统一管理,支持主数据的持续实时更新和复用,并通过 API 满足下游系统的实时自助取用。各政务部门可以通过数据接口快速调用中心数据,高效、低成本上线所需的政务服务应用。


三、涌动的数据「活水」

关于惠企便民的应用落地与可能性探索


① 惠企应用:市级企业综合服务平台

为持续优化营商环境,推动惠企政策落地落实,提升数字政府的服务能力和企业的市场运作效率,以政务云数据中心为底座,围绕三个“一”的建设思路,“市级企业综合服务平台”开发上线:

  • 统一门户:整合平台,打造全是企业服务统一入口

  • 一企一档:沉淀数据,建立一企一档动态更新

  • 一站式服务:整合服务形成企业一站式“服务超市”

在这个过程中,Tapdata 实时集成源自市场监督管理局、人社局等部门的数据,依照法人库的标准形成宽表。以汇集的企业多维度信息为基础,构建可以反应企业特征的企业画像,即包含各项关键数据的企业全景档案,包括企业的工商、经营、风险、知识产权、资质等,为上层各项针对企业的精准管理与服务提供底层支撑。


与此同时,Tapdata 还支持对必要的政策资讯进行整合,在惠企政策服务功能方面,打造汇集了政策文件、政策解读、政策发布、免申即享、免申财政直通、政策兑现成果展示等板块于一体的政策中心,最大限度保障企业对各项惠企政策“应知尽知、应享尽享”,有效解决了企业政策看不到、看不懂、申报难、往返跑的问题,切实增强企业获得感、满意度。成功做到数聚赋能,把大数据盘活并真正用起来。


以工信局的“政策兑现”需求为例,企业可以通过企业综合服务平台的“免申财政直通通道”,快速完成企业画像和对应财政补贴政策之间的信息匹配,实现“零等待、零跑腿、零成本”的财政补贴兑现服务。


② 惠民展望:医保数据的深度运营

相较于基本医保出院即结算的服务方式,作为医疗补充保险的商业医保则普遍采用人工理赔式结算,手续繁杂、理赔周期长,这就导致商业医疗保险与基本医保不能同享“一站式结算”。为此,该市医保局积极创新工作思路,携手市大数据局,推动搭建“保医通”平台,实现了商保的便捷高效理赔,这也是相关政务部门深挖医保数据背后价值成功且关键的一步。医保数据所蕴含的普惠能量由此可见一斑,未来可以通过 Tapdata 进一步集成相关数据,依托数据共享平台,在政务服务上推出更多便民利民的创造性实践。


③ 更多牵手:升级的一体化大数据平台

Tapdata 可以与现有大数据平台形成优势互补,该市大数据局尝试对原有功能模块进行优化升级,在已有的 Tapdata 数据底座之上,基于政府业务需求做了一层封装,对全部可共享数据进行标签化处理,并据此归类整理 API 和数据块,由此推动构建数据更精准及时、模块更清晰、操作更便捷的一体化大数据管理平台。


拆除数据烟囱,加速落成实时数据共享、交换中心,Tapdata 凭借实时数据服务领先的技术优势,助力组织或企业盘活数据资源,完成数字化转型升级。



【关于Tapdata】


Tapdata Inc.「深圳钛铂数据有限公司」,成立于2019年9月,核心员工来自MongoDB、Oracle、百度、阿里、腾讯等,研发人员占比 超90%,至今已获五源资本等多家头部风投数千万美元融资。Tapdata 是全球首个基于 DaaS 架构理念、面向 TP 业务或场景的企业实时数据服务平台,能够帮助企业快速打通数据孤岛,构建主数据服务平台,为新业务提供统一、完整、实时的数据,已服务周生生、中国移动、中国联通、南方电网、中国一汽、富邦银行、罗辑思维等数十家行业标杆企业。Tapdata 坚持“开放+开源”战略,现已免费开放 Tapdata Cloud,正在逐步对核心技术进行开源。


旗下产品:

  • Tapdata Enterprise:一款基于数据即服务(DaaS)架构理念自主研发的数据平台,可帮助企业无代码快速连接孤岛系统,构建敏捷型的实时数据服务平台,为联机分析处理(OLAP)业务提供实时数据输入,更可以为交互式业务(OLTP)提供实时的数据服务。适用于企业统一数据管理、数据上云、实时数据中台、实时数据库同步、业务系统升级与加速等多个场景。免费试用

  • Tapdata Cloud:一款异构数据库实时同步 SaaS 服务,支持主流的开源数据库及商业数据以及消息类中间件(包括:MongoDB、MySQL、Oracle、SQL Server、DB2、Elastic、Kafka、Sybase、PostgreSQL、Redis、GaussDB 等),基于日志的数据库 CDC 技术,0入侵实时采集,毫秒级同步延迟,拖拽式的“零”代码配置操作,可视化任务运行监控和告警,通过 Tapdata Cloud 可轻松实现跨系统跨类型的数据实时同步。注册即可使用,永久免费。


推荐阅读

DTCC 干货分享:Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日,Tapdata 创始人唐建法(TJ)受邀出席 DTCC 2021(中国数据库技术大会),并在企业数据中台设计与实践专场上,发表主旨演讲“Real Time DaaS :打造面向 TP+AP 业务的数据平台架构”,从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度,全面分享了 Tapdata 在全链路实时数据融...

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下,国内疫情防控工作渐趋规范化、常态化,各类防疫应用和手段层出不穷,防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案,助力张家港市卫健委高效落地疫情防控数字化,实现精准防疫。

Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?

我们为什么需要一个Real Time DaaS?它和大数据平台技术上有什么区别?如果企业还没有构建数据平台,我是应该考虑DaaS还是Big Data?如果已经有了大数据平台,我是否还需要DaaS?如果你想了解更多,请参加本次的在线研讨会。

下一个十年,你还在用 Big Data 搭建数据中台吗?

数据中台的存在是有合理性的,企业需要中台帮助他们来有效管理企业的数据资产,为业务所用。但在经历过大数据时代的热度之后,你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面:打通企业内部的孤岛数据,在中台构建共享模型,以API方式快速发布数据服务...

Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB等十余家厂商首批加入

2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,Doris、OceanBase、PolarDB、SequoiaDB、Aerospike 、GBase、HotDB、KunlunDB、MongoDB、Nebula、vika 、DataStax、极数云舟等首批加入,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据。

解锁5大应用场景,最新实时同步实现方案分享

数字化时代的到来,企业业务敏捷度的提升,对传统的数据处理和可用性带来更高的要求,实时数据同步技术的发展,给基于数据的业务创新带来了更多的可能。 Tapdata 产品合伙人徐亮带来实时数据同步的5大典型场景以及4种主流的技术模式分享,并一起了解作为新生代实时数据同步的 Tapdata Cloud 如何更轻松灵活的满足各种实时数据场景。

Tapdata 钛铂数据的产品理念

Tapdata 是全球首个基于数据即服务架构理念、面向 TP 场景的企业实时主数据服务平台,可以帮助企业快速实现主数据的统一管理和发布,并为所有数据库、数仓、大数据平台提供最实时的源数据,让数据随时可用。

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术,在数据库迁移和同步方面,Tapdata 的表现非常优秀,实时、多元、异构,尤其在关系数据库到非关系数据库之间的双向同步方面,无论是从操作上,还是效率上,都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统,成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力,实现了对市系统数据的实时推送和拉取,以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心,实现: - 支持中国大陆港澳台的上千家门店的生产环境; - 使用JS脚本来进行流处理计算,业务需求从开发到上线过程快至 1 天以内; - 任务配置与执行监测全程可视化操作,不懂技术也能完成操作,极大降低维护成本; - 一套产品可满足不同需求,根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择,将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB; 使用Tapdata Replicator的CDC技术,实时监听现有业务库的数据变动并同步至MongoDB; 使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构,并保持和源库的高度数据一致; 在MongoDB上进行新业务的开发。

Tapdata肖贝贝:实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集, 业界经常遇到了包括:对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中,获得了一些不错的经验和思考,本文将分享 Tapdata 自研的 TAP-CDC-CACHE,和其他几种市面常见的解决方案的优势和特性。

搭建企业级实时数据融合平台难吗?Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台?Tapdata 已经找到了最佳实践,下文将以 Tapdata 的零售行业客户为例,与您分享:基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。