Tapdata 技术博客
Tapdata 技术博客

数据库领域一周动态【20241230-20250105】| TapData 资讯

2025-01-06 10:52 TapData

欢迎来到跟着 TapData 看速报系列——让我们来一起快速浏览下，过去一周里数据库领域值得关注的大小新鲜事。

福建移动携手达梦数据，实现自主数据库分布式集群重要突破

近日，自主信创领域取得重要突破——中国移动福建公司携手达梦数据，建成全球最大国产达梦分布式集群，圆满完成中央企业先进计算创新联合体2024年度重点任务研究目标。截至目前，中国移动福建公司已在大数据分析系统、数据集市系统等10个业务系统上线国产达梦分布式数据库集群，项目总共投产200多节点集群，系国产达梦分布式集群落地的最大项目。此次技术突破表明，国产分布式数据库，已经能够满足运营商大数据分析需求，具备替换国外主流同类产品的能力，同时，有效提升了国家信息安全产业自主、可控能力。

消息来源：新华社

相关阅读：国产信创数据库达梦（Dameng）数据迁移指南

Apache Doris 周 FAQ 集锦

一个汇集了一周内有关 Apache Doris 社区反馈热门问题和话题的常见问题栏目，本周问题列表包括：

  • doris 1.2.4版本where = 结果不准，like结果正确如何解决？

  • doris中能否删除某个分区的 index？

  • doris profile中这个ScannerGetBlockTime指标是说明从磁盘中读取数据的时长?

  • ……

消息来源：一臻数据

相关阅读：Doris 数据同步指南‍

openGauss Summit 2024：汇聚数据库创新力量，引领智能时代新未来

近日，openGauss Summit 2024在北京圆满落幕。大会以“汇聚数据库创新力量，引领智能时代新未来”为主题，汇聚全国乃至全球产业发展力量，共同探讨数据库产业发展方向和未来机遇。会上，弗若斯特沙利文发布最新调研报告，在2024年线下集中式关系型数据库新增市场份额，openGauss系再创新高，达30.2%；基于openGauss的关系型数据库产品占比达28.5%，超过MySQL和PG，成三个主流开源技术路线之首。

消息来源：openGauss

相关阅读：openGauss 数据同步指南‍

中国移动磐维数据库3.0发布，单节点事务处理效率提升30%

近日，中国移动在 openGauss Summit 2024 发布磐维数据库3.0，以 openGauss 6.0.0 为基础实现技术飞跃，支持更复杂场景部署，优化分布式和集中式架构性能，资源利用率提升80%，事务处理能力达每分钟170万，广泛应用于金融、政务、零售等领域，服务超8亿用户。作为核心业务支撑和智能服务供给的双向延展，中国移动通过全链路创新构建完整技术生态，推动智能时代数据库高质量发展。

消息来源：新浪科技

相关阅读：2024 Top10 国产数据库迁移与同步指南

崖山数据库上线数字人民币联防联控系统

近日，深圳计算科学研究院崖山数据库系统 YashanDB 在数字人民币联防联控系统成功上线。据悉，深算院发挥全自研技术优势，协同人民银行数字货币研究所完成联防联控系统的调研评估、适配改造、验证迁移等过程，实现对原有系统的平滑迁移，上线当天仅30分钟就完成数据库切换。系统自上线以来展现出较高的性能、高可用以及易用性，采用多中心的高可用容灾架构确保系统运行的连续性。

消息来源：经济参考网

华为云 GaussDB 领跑中国金融级分布式数据库市场

近日，沙利文联合头豹研究院，发布《2024年金融级分布式数据库市场跟踪报告》。报告显示，华为云 GaussDB 分别获2023年、2024年上半年 中国金融级分布式数据库市场份额整体规模第一、本地部署整体第一，领跑中国金融级分布式数据库市场。

消息来源：华为云开发者联盟

相关阅读：GaussDB 数据同步指南‍

推荐阅读 | 万字长文梳理 2024 年的RAG

20250106.PNG

对于 2024 年的 RAG 来说，有一系列标志性事件：

  • 1. 关于 RAG 的争论：RAG 已死，RAG 永存！

  • 2. 一系列多模态文档解析工具的崛起。

  • 3. BM25 和混合搜索的崛起，向量数据库已不需要作为单独品类。

  • 4. GraphRAG 的崛起。

  • 5. 以 Col-xxx 为代表的延迟交互模型崛起。

  • 6. 基于 VLM 和延迟交互模型实现多模态 RAG。

……更多关于 RAG 的全年发展总结，请阅读原文。

原文推荐：infominer

相关阅读：AI 数据观：实时数据与生成式人工智能 | 大模型+ RAG 技术落地实时工单解决方案

数据库厂商本周市场资讯汇总（含2024年终总结）

  • 飞轮科技荣获 Datafun 2024 年第二届星空奖——数智技术领航企业奖 详情

  • 电科金仓揽获2024“鼎信杯”四项大奖 详情

  • TDengine 2024 年跑出新速度，实现收入翻倍 详情

  • YashanDB 2024年度盘点来了！详情

  • 图数据库 NebulaGraph 社区的年终总结 详情

  • 2024 OceanBase 年度报告 详情

  • 华为云数据库年度盘点 详情

  • 阿里云瑶池数据库2024年度盘点 详情

  • 云和恩墨再次获评TC601优秀成员单位，李轶楠获评突出贡献专家 详情

  • 「第6届天池全球数据库大赛」圆满收官 详情

【更多信息】

考试通知 | 2025年1月 openGauss 认证考试计划发布！详情

活动预告 |   2025年4月25日，第25届 GOPS 全球运维大会暨研运数智化技术峰会 · 深圳站 详情

想要了解更多数据库新鲜资讯，欢迎关注 TapData 内容频道。TapData，一个专注数据库数据实时同步技术的平台。

【推荐阅读】


分享
微信
新浪微博
QQ
QQ空间
豆瓣网
百度贴吧
开心网
复制链接
脸书
X
领英
推荐阅读

Tapdata 重磅更新已就绪！全托管云服务上线，应用场景再扩展

近一年间，Tapdata 在 2.0 版本的基础上持续优化，不断改进与完善，终于迎来了产品能力更加完备，性能表现更加优秀的新版本。相信它将为大家带来更好的使用体验和更加完善的服务，在未来的新一阶段为数据应用创造新的惊喜。

Tapdata 面向开发者、数据工程师、DBA、应用架构师、数据架构师的典型应用场景

Tapdata Live Data Platform 是新一代的实时数据平台，通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式，为下游的交互式应用，微服务或交互式分析提供新鲜实时的数据。开发者、数据工程师、DBA、应用架构师、数据架构师等都是 Tapdata 的核心用户群，并拥有诸多典型的应用场景......

ChatGPT 大势中，如何加强企业私有数据集的保护，应对 AI 大模型训练挑战

近年来，AI 大模型在各个领域取得了令人瞩目的突破，从自然语言处理到图像识别，从智能推荐到智能驾驶，AI 的应用正逐渐渗透到企业的核心业务中。ChatGPT 的兴起更是给企业带来了巨大的机遇和挑战。

Tapdata 的 ∞ 实践：中小企业如何轻量、高效地搭建起一个灵活易用的数字化平台

数字化浪潮下，了解并应用数据思维，搭建数字化平台，可以帮助企业更好地理解客户需求、市场趋势和业务机会，更高效地进行产品运营和管理。那么，面对技术和成本压力，中小企业如何轻量、高效地搭建起一个灵活易用的数字化平台？本文将结合典型案例具体说明。

Tapdata 在数字化防疫场景的最佳实践

在“动态清零”总方针的指导下，国内疫情防控工作渐趋规范化、常态化，各类防疫应用和手段层出不穷，防疫战也是数据战。Tapdata 基于数据虚拟化和主数据管理能力的防疫专项解决方案，助力张家港市卫健委高效落地疫情防控数字化，实现精准防疫。

“数聚赋能”，让实时数据中台成为惠企、惠民政策服务应用的源头活水

拆除数据烟囱，加速落成实时数据共享、交换中心，Tapdata 凭借实时数据服务领先的技术优势，助力某市大数据局盘活数据资源，实现各政务部门通过数据接口快速调用中心数据，高效、低成本上线所需的政务服务应用。

Tapdata 在线研讨会：DaaS vs 大数据平台，是竞争还是共处？

我们为什么需要一个Real Time DaaS？它和大数据平台技术上有什么区别？如果企业还没有构建数据平台，我是应该考虑DaaS还是Big Data？如果已经有了大数据平台，我是否还需要DaaS？如果你想了解更多，请参加本次的在线研讨会。

下一个十年，你还在用 Big Data 搭建数据中台吗？

数据中台的存在是有合理性的，企业需要中台帮助他们来有效管理企业的数据资产，为业务所用。但在经历过大数据时代的热度之后，你在为企业构建数据中台的时候可以考虑另外一种比较务实的 DaaS 架构。DaaS 更加专注于数据层面：打通企业内部的孤岛数据，在中台构建共享模型，以API方式快速发布数据服务...

DTCC 干货分享：Real Time DaaS - 面向TP+AP业务的数据平台架构

2021年10月20日，Tapdata 创始人唐建法（TJ）受邀出席 DTCC 2021（中国数据库技术大会）,并在企业数据中台设计与实践专场上，发表主旨演讲“Real Time DaaS ：打造面向 TP+AP 业务的数据平台架构”，从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度，全面分享了 Tapdata 在全链路实时数据融...

Tapdata 数据库实时同步的技术要点

Tapdata 专注于实时数据的处理技术，在数据库迁移和同步方面，Tapdata 的表现非常优秀，实时、多元、异构，尤其在关系数据库到非关系数据库之间的双向同步方面，无论是从操作上，还是效率上，都体现了业界领先的水平。本文重点阐述 Tapdata 在数据库实时同步方面的技术要点。

教育中台与第三方系统对接整合数据案例

最近, 南京秦淮区教育中台系统，成功地和市系统进行了一次圆满对接。通过教育中台提供的统一数据能力和低代码API对接能力，实现了对市系统数据的实时推送和拉取，以及各类业务逻辑上的处理。这次对接为南京市中小学生创客大赛的成功举办提供了及时可靠的数据支撑, 体现了中台系统在快速响应业务方面的优越性。

周生生 | 全渠道商品中心建设

通过Tapdata 构建全渠道商品中心，实现：
- 支持中国大陆港澳台的上千家门店的生产环境；
- 使用JS脚本来进行流处理计算，业务需求从开发到上线过程快至 1 天以内；
- 任务配置与执行监测全程可视化操作，不懂技术也能完成操作，极大降低维护成本；
- 一套产品可满足不同需求，根据业务需求产出不同类型的业务模型节省大量人力物力。

关系型数据库到MongoDB实时数据同步解决方案

使用MongoDB作为主机下行或新一代数据库的选择，将业务数据从已有主机或Oracle等关系型数据库复制到MongoDB；
使用Tapdata Replicator的CDC技术，实时监听现有业务库的数据变动并同步至MongoDB；
使用Tapdata 的RDM技术将关系型表合并转型到MongoDB JSON数据结构，并保持和源库的高度数据一致；
在MongoDB上进行新业务的开发。

搭建企业级实时数据融合平台难吗？Tapdata + ES + MongoDB 就能搞定

如何打造一套企业级的实时数据融合平台？Tapdata 已经找到了最佳实践，下文将以 Tapdata 的零售行业客户为例，与您分享：基于 ES 和 MongoDB 来快速构建一套企业级的实时数据融合平台。

Tapdata肖贝贝：实时数据引擎系列(一)-新鲜的数据流

前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T+1 与 高吞吐高延迟 为主要特征的上一代框架理念, 在真实的场景里, 实时, 准确, 多变 的数据也发挥着越来越重要的作用为满足这些新的需求, 各种框架和中间件如雨后春笋般不断涌出hive 的出现让这头大象...

Tapdata 肖贝贝：实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

对于 PostgreSQL 的实时数据采集， 业界经常遇到了包括：对源库性能/存储影响较大, 采集性能受限, 时间回退重新同步不支持, 数据类型较复杂等等问题。Tapdata 在解决 PostgreSQL 增量复制问题过程中，获得了一些不错的经验和思考，本文将分享 Tapdata 自研的 TAP-CDC-CACHE，和其他几种市面常见的解决方案的优势和特性。

瓜分 28 万现金大奖，Tapdata 数据源 Connector 大赛等你来战

Tapdata 数据源 Connector 挑战赛（第一届）火热进行中！积累开发经验，瓜分28万现金大奖，我们在这里，等一个热爱技术的你！