从Oracle到MongoDB，东方航空RTDP业务实时同步方案

关于东方航空

通达全球177个国家1074个目的地的航线网络，年旅客运输量超过1.1亿人，位列全球第七。

项目描述

东航在原有的OD系统之上，自建前端管理系统，需要数据准备；

原数据方案是从Oracle同步到Cassandra数据库。

面临的挑战

• Oracle 同步过来的数据非实时，有数据滞后问题，影响到某些实时性较高的应用场景开发；

• Cassandra数据库模型比较难于理解，工程师学习难度；

• Cassandra只支持KeyValue，不支持二级索引，限制了使用场景；

• 架构较为复杂，缺乏有效管理手段及相应的技术储备；

• 数据同步时间较长，需要9个小时，只能完成T+1的场景。

应用场景：Oracle — MongoDB异构同步

关键成果

• 实现T+0实时业务场景；

• 初始同步速度>=每秒1万条记录；

• 实时增量同步>=每秒500条更新的处理能力；

• 实时增量同步的数据延迟<=15秒。

产品优势

• 能够将数据从Oracle库里同步到MongoDB；

• 支持实时增量同步，同步延迟不超过15秒；

• 支持多表到JSON的模型处理能力；

• 支持断点续传能力；

• OD界面修改后，能在MongoDB数据库中立刻查询到数据变化；

• 提供每小时的同步日志文件，记录数据的全局变化。