Tapdata 技术博客
Tapdata 技术博客

致 Tapdata 全体用户:2023 年,我们把更多精力集中到了产品能力和稳定性上

2024-02-28 11:35 Tapdata

2023 依旧过得很快,这一年,我们发布了 Tapdata 3.0,探索了 Tapdata 在零售、制造、AI 等领域的新一代解决方案;上线了 Tapdata 海外版,成功入选谷歌出海创业加速器项目;并与更多数据库达成兼容性互认证,进一步壮大了实时数据生态……


除此之外,我们将自身大部分的能量投入到了产品能力与稳定性的持续打磨之中。因为我们坚信,产品本身才是我们与用户实现连结的最大依仗。


以“让您使用数据就像通过自来水龙头取水那样方便简单”为使命,Tapdata 希望充分利用实时数据集成和实时数据服务的平台能力,让新鲜数据得以真正滋养各行各业的智慧化、现代化、数字化发展。


新春伊始,我们在这里以迭代列表的形式向大家汇报 Tapdata 2023 年在产品层面做出的优化和更新,希望能帮助大家更多地了解最新版本的功能变化。


感谢过去一年大家对 Tapdata 的反馈、支持与陪伴,新一年我们还将为用户朋友们提供更多 Tapdata 教程指南以及行业解决方案的建议,欢迎大家持续关注。


Tapdata 2023 迭代列表

*点击每条迭代内容,可查看该条功能对应的详细说明哦


版本指路:

>>> 点击登录 Tapdata Cloud

>>> 申请试用 Tapdata 本地部署版


新增产品能力

  1. 上线实时数据中心功能,并发布基于实时数据中心的数据血缘追溯能力

    文章2-1.PNG

    文章2-2.PNG

  2. 发布全量分片能力,支持全量断点续传,为大数据量数据同步提供保障

    文章2-3.PNG

  3. 扩展和优化数据校验功能,提升产品数据一致性检查能力。

    文章2-4.PNG


  4. 发布类型过滤、时间运算、标准 JS、Python、Unwind 等处理节点,提升产品数据开发能力

    文章2-5.png


  5. 完成 OP 版功能权限控制和数据权限控制的上线

    文章2-6.png

  6. 完成数据源错误码的完善,提供更丰富的问题原因分析和解决方案推荐

    文章2-7.png


  7. 核心认证数据源支持 SSL 连接

    文章2-8.png


新增云版功能

  1. 云版上线主从合并节点并提供更易操作的物化视图构建方式

  2. 云版上线全托管的 Agent


    文章2-9.png


  3. 云版上线订购 MongoDB Atlas 存储作为实时数据中心的中间存储

    文章2-10.png

  4. 提升产品稳定性,完善针对云版服务的监控和告警能力,保障云版服务的稳定持续运行

    文章2-10-1.png


  5. 对内,完成 CI/CD 自动化测试等精细化流程构建,并保证流程的稳定性,提升产品持续集成和测试的效率

  6. 完成与谷歌云的对接,上线谷歌云 Marketplace

迭代功能详细清单


1‍. 数据开发任务源节点新增支持数据过滤能力,支持对全量和增量阶段数据进行过滤

2. 数据开发新增 JS 处理节点试运行能力

3. 新增追加合并节点,支持将多个相同结构表的数据合并成一张表

4‍. 支持在 JS 节点里操作源库和目标库

5‍. 新增 Redis 数据源作为目标

6‍. 新增 Excel 数据源作为源

7‍. 新增数据校验功能

8. 复制任务源节点选表新增按照表达式匹配能力,支持按照表达式来选择要同步的表,表达式匹配模式下自动支持动态新增表

9. 新增支持在源端设置读取的 batchSize ,支持在目标端设置写入的 batchSize

10. 以指定字段的排序作为轮询条件进行增量数据采集

11. 开发任务新增信息输出

12. DUMMY 数据源可以快速增加多个字段

13. 新增 TiDB 作为源,并支持通过轮询方式进行增量同步

14. 新增外部缓存统一配置和管理

15. 新增任务进度里程碑展示

16. 新增 LDP(Live Data Platform)功能

17. 新增数据复制支持调整关联条件字段

18. 新增支持redis在数据复制任务里作为目标使用

19. 集群监控页面, 列出当前的引擎, 对外建立的所有连接数量, 按 ip:port 归类

20. Doris 作为目标, 支持数据校验能力 (Count)

21. 新增心跳表功能,数据源配置里, 新增心跳表设置。打开后会在源库创建一个名为:

_tapdata_heartbeat_table 的心跳表,每隔1S更新一次其中的数据

22. 基于错误码提示问题解决方案

23. SQL 类数据源和 mongo 数据源支持全量自定义查询(SQL)

24. 产品边界规则框架设计与实现,保存任务时自动对产品边界进行检测

25. JS 中运行 MongoDB 聚合处理

26. 创建 Custom Connection 时要支持对脚本进行调试

27. 权限管理功能新增支持角色的增删改能力

28. 新增全量分片能力,目前仅支持 MongoDB

29. 新增时间运算处理节点

30. 为API管理增加 Application 分类能力

31. API server 新增集成 GraphQL 能力,可以通过 API Server 的地址 +graphql 来访问

32. 集群管理新增支持获取线程资源监控和数据源使用情况数据

33. 新增支持在 Doris 上发布 API 接口

34. 复制任务,处理节点新增支持查看表模型

35. LDP 新增支持表级溯源能力

36. 新增一个类型过滤的节点,可以将一些指定类型过滤掉不向后同步

37. 目标节点支持按照乘以系数的方式来调整字段的长度

38. Kafka 支持自定义消息体格式

39. 数据复制/开发任务支持根据数据记录的大小动态调整批量参数

40. 新增支持 DWS 数据源作为目标

41. 基于数据面板的任务创建引导

42. 新增功能和数据权限控制

43. 国际站订购 Atlas 存储时新增 Free trail、M10、M20、M30

44. 新增支持 Redis 到 Redis 的同步能力

45. 新增 Python 处理器节点,用户可以通过 Python 脚本来对数据进行处理

46. Kafka 数据源新增支持设置副本数

47. 新增 MongoDB 到 MongoDB 同步的 unset 支持

4‍8. 新增物化视图构建功能


文章2-11.png


49. 引导过程新增DEMO数据源,用户可以直接使用


文章2-12.png


50. 复制任务在选表时,有主键和无主键表的快速过滤功能,有主键表部分新增包含有唯一索引的无主键表


文章2-13.png


51. 数据转换任务新增unwind处理节


文章2-14.png


52. 任务新增支持禁用节点功能


文章2-15.png


53. 新增支持 mongo 做目标时创建为分布式表


54. 新增支持 Hive3 作为源


文章2-16.png


55. 数据校验过滤功能优化,支持自定义查询和聚合查询


文章2-17.png


56. 云版测试连接时增加连接器下载进度展示,避免等待下载导致的测试连接超时


文章2-18.png


57. 针对源节点增加增量每批读取条数设置,可以调整增量同步性能


文章2-19.png


58. 目标节点字段类型调整时,支持直接选择目标数据库常用类型


文章2-20.png


59. OP版本新增支持在windows环境下部署


60. 认证数据源支持SSL


文章2-21.png


61. 新增支持Azure CosmosDB作为源,支持全量同步


文章2-22.png


62. Tapdata 任务导入,支持直接导入 MongoDB Relational Migrator 导出的 relmig 类型文件


【相关阅读】

推荐阅读