Tapdata 技术博客
Tapdata 技术博客

从Oracle到MongoDB,东方航空RTDP业务实时同步方案

2020-01-06 10:00

关于东方航空

通达全球177个国家1074个目的地的航线网络,年旅客运输量超过1.1亿人,位列全球第七。


项目描述

东航在原有的OD系统之上,自建前端管理系统,需要数据准备;

原数据方案是从Oracle同步到Cassandra数据库。


面临的挑战

  • Oracle 同步过来的数据非实时,有数据滞后问题,影响到某些实时性较高的应用场景开发;

  • Cassandra数据库模型比较难于理解,工程师学习难度;

  • Cassandra只支持KeyValue,不支持二级索引,限制了使用场景;

  • 架构较为复杂,缺乏有效管理手段及相应的技术储备;

  • 数据同步时间较长,需要9个小时,只能完成T+1的场景。

应用场景:Oracle — MongoDB异构同步


产品: Tapdata Replicator




关键成果

  • 实现T+0实时业务场景;

  • 初始同步速度>=每秒1万条记录;

  • 实时增量同步>=每秒500条更新的处理能力;

  • 实时增量同步的数据延迟<=15秒。


产品优势

  • 能够将数据从Oracle库里同步到MongoDB;

  • 支持实时增量同步,同步延迟不超过15秒;

  • 支持多表到JSON的模型处理能力;

  • 支持断点续传能力;

  • OD界面修改后,能在MongoDB数据库中立刻查询到数据变化;

  • 提供每小时的同步日志文件,记录数据的全局变化。


推荐阅读