基于GridFS的异地分布式存储构建的数据中台

关于石油大学

中国石油大学是教育部直属全国重点大学，是国家“211工程”重点建设和开展“985工程优势学科创新平台”建设并建有研究生院的高校之一，是石油石化高层次人才培养的重要基地，被誉为“石油科技、管理人才的摇篮”。

项目描述

中国石油大学（华东）作为海洋环境大数据存储结点，针对海洋环境大数据分散自治的特点，研究存储资源的聚合方法，将分布式存储资源形成统一数据空间，设计“逻辑上静态、物理上动态可扩展”的数据存储策略。

面临的挑战

• PB级数据存储及访问

• 结构化、非结构化数据的存储

• 数据存储量快速增加

• 集群提供数据自动备份能力

• 在极端场景（如自然灾害、地区级电网或者网络故障）下保证数据安全及访问

• 数据的发布

• 数据的安全及访问管理

数据中台在海洋环境数据中的架构

场景描述：基于GridFS的异地分布式存储构建

产品: Tapdata 数据中台

关键成果

• 集群提供自动故障转移能力，系统可用率>99.9%；

• 支持无缝线上扩容能力 – 可随着数据量增加而逐渐扩容；

• 以统一接口（REST API）向使用方提供所需数据。

产品优势

1. 基于MongoDB异地部署集群的架构使海洋大数据系统可以接受位于不同地区的数据快速写入系统；

2. 各监测站，研究机构的数据可自行选择离自己最近的网关上传海洋数据，然后由MongoDB集群自行完成数据向其他数据中心的复制；

3. 实现各数据中心可就近接受数据写入以提高写入速度；各数据中心的数据可复制到其他数据中心以提高读取速度；

4. 提供异地数据中心之间的数据自动同步提供跨数据中心高可用能力：当某个数据中心不可用时，可自动切换至另一个数据中心等功能。