数据实时迁移同步工具 CloudCanal v5.2.0.0 发布，支持 SaaS 全托管

发布时间：2025-10-13 00:00

发布者：聖光之護

浏览次数：

cloudcanal 免费社区版 是 clougence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 60+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 oceanbase、polardb、tidb、starrocks、doris、rocketmq 等。

结合开源项目 CloudCanalProcess ，可方便实现如下功能：

wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理
data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据
data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚
data-compare : 数据对比插件，根据源端数据变化进行业务对账
business-alert : 业务告警插件，根据数据变化趋势做出相应告警

CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。

Release-Note

亮点

支持 SaaS 全托管模式，无需部署任何组件，登录网站即可使用。当前开放上海、深圳两区域，可就近选择使用
支持 MySQL、PostgreSQL、StarRocks、Doris、ClickHouse 等数据源通过 SSH 隧道连接，方便跨互联网数据互联
开放 PolarDB PostgreSQL -> MySQL/PostgreSQL/Doris/SelectDB/StarRocks 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename/truncate）

新链路

开放 MySQL -> DeltaLake 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename）
开放 MySQL -> PolarDB PostgreSQL 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename/truncate）
开放 ClickHouse -> ClickHouse 全量同步/数据校验/数据订正/结构迁移（新增参数 enableSelectFinal）
开放 ClickHouse -> StarRocks/Doris/SelectDB 强类型全量同步/数据校验/数据订正/结构迁移

新特性

支持手动输入方式添加阿里云 RDS for MySQL、RDS for PostgreSQL、RDS for SQL Server、PolarDBMySQL、PolarDBX、ADB for MySQL、ADB for PG 数据源
支持 PostgreSQL 源端 Truncate DDL 捕获
支持达梦、GaussDB、TiDB、Hana、PostgreSQL 全量扫描时，根据用户选择的列进行扫描
支持 PostgreSQL -> RocketMQ / RabbitMQ 全量同步/增量同步
支持 SQL Server -> Doris/SelectDB 虚拟列和 DDL 同步（加列/减列）
支持 Oracle -> Doris/SelectDB 虚拟列
支持 Oracle 对端为 Number 类型，源端数据为 byte 数组（如 mysql/pg bit[n]）的迁移同步
支持 MySQL -> PostgreSQL/AuroraPostgreSQL 定时全量同步
支持 PostgreSQL 自定义 Array/String 类型
支持 PostgreSQL -> MySQL/OceanBase for MySQL 同步 smallint/int/bigint/oid/numeric... 等数组类型
支持黑名单方式的操作过滤，分为数据操作、列变更、索引变更、数据定义变更、表变更 5 大类 16 小项，方便细颗粒度过滤操作（如只过滤索引变更操作）
支持任务参数模版管理（创建、查询、删除）
支持将已有任务参数保存为任务参数模板（参数手动选择），类似性能优化参数可复用到新任务
支持创建任务和修改任务时选用任务参数模板
支持 TiDB 源端定时自动刷新 GC 时间，历史版本数据不会因为 GC 超时而被清掉
支持 DynamoDB 元信息检索能力
支持达梦源端增量任务超时导致解析失败自动进行重试（新增参数：lmTimeoutRetry）
支持 Console 控制台自动升级、启动
支持修改订阅删除源端已不存在的库、表
支持新 Open API，包括 startWorker、stopWorker、modifyMemOverSoldPercent、updateWorkerAlertConfig、deleteWorker、detachIncreJob

优化

优化 SQL Serve
r 源端开启快照读、条件下推不再读取主键最大最小值
优化 StarRocks/Doris/SelectDB 写入报错日志打印，报错日志增加 Schema 和 Table 信息
优化 Iceberg 数据源配置，可以直接填写 AK/SK，简化配置
优化 OnlineDDL 转化为目标端普通 DDL，减少在目标端执行不必要的临时表操作（新增参数：onlineDdlConvert、onlineDdlBackupDb）
优化 OnlineDDL Ghost 临时表订阅规则，支持配置临时表正则表达式，解决无法订阅 ~yourtablename_{timestamp}_gho/~yourtablename_gho 格式的临时表问题（新增参数：onlineDdlTempTableRegex）
优化添加 RDS for MySQL 数据源默认认证方式为账号密码
优化达梦 DSC 实例增量暂不支持表级位点（初始化位点阶段报错，避免需重建任务）
优化达梦数据源参数（isDscNode），避免任务创建后需再次修改
优化达梦提交位点，避免增量任务订阅表没有数据变更，导致数据延迟持续增大
优化 TiDB 源端分区表同步，兼容任务组并行分区消费数据
优化 TiDB 源端开启 printDetailLog 参数，源端打印更多详细日志，方便排查问题
优化 PostgresSQL BYTEA 映射为 MySQL/OceanBase for MySQL LONGBLOB 类型
优化 OceanBase MySQL & Oracle 租户 DDL 执行超时，默认超时设置为 8 小时
优化 OceanBase Oracle 租户全量扫描 SQL 执行超时，和 soTimeoutSec 参数关联
优化并发布 cloudcanal-openapi-sdk 1.0.2 版本，无需填写调用 URI，更加简洁，并支持更多开放 API 调用
优化产品界面展示的性能，防止在大量库表列情况下的浏览器内存占用过高，导致浏览器崩溃的问题
优化任务日志与 Worker 日志的查看体验
优化任务参数中 JSON 字段的编辑交互方式
优化页面“同步设置”需通过二级菜单进入，避免误操作

问题修复

修复自动刷新没有更新 Prometheus 图表的问题
修复 worker 列表的详细信息最近更新日期永远为 1970-01-01 08:00:00 的问题
修复 ElastiCache -> ElastiCache 创建任务页面中，高级配置目标端展示了 RDB 相关的内容
修复 Oracle 源端校验订正任务超出 in(?,?,?) 长度限制的问题
修复 Doris/SelectDB 目标端修改订阅没有复制主任务参数（deleteOpCol），导致子任务增量同步报错
修复修改订阅和创建相似任务没有拿取主任务的列映射规则（COLUMN_COLUMN）
修复 PostgreSQL 源端表包含表达式索引时结构迁移报错的问题
修复达梦增量任务 DDL SQL 截断的问题
修复达梦增量任务 Redo SQL 乱序的问题
修复达梦增量任务初始化位点找不到 DUAL 表的异常
修复达梦 DSC 实例增量任务无法消费的异常
修复达梦 DSC 实例增量任务修改订阅没有复制主任务参数（isDscNode），导致子任务增量同步报错
修复 PostgreSQL 源端 DDL 加列解析 COLUMN 关键字报错的问题
修复 PostgreSQL 源端 DDL 修列类型解析 USING 关键字解析报错的问题
修复 StarRocks/Doris 目标端 DDL 防重检测报错的问题
修复 TiDB 目标端 ROW 模式，冲突策略设置 IGNORE 不生效的问题
修复 TiDB 到 Kafka Canal 格式 es 字段为空的问题
修复 TiDB 源端 ALTER TABLE partition_table ADD PARTITION PARTITIONS 20 不会触发新分区订阅的问题
修复 SQL Server 为源端的子任务合并后任务重启失败的问题
修复阿里云 RocketMQ 为目标端时，部分链路结构迁移报错的问题
修复 RabbitMQ 为目标端时，测试连接报错的问题
修复创建相似任务时的缓存遗留问题
修复读取关键字配置文件失败导致无限递归的问题
修复任务列表页面用源端数据源 ID 或者目标端数据源 ID 搜索之后，刷新页面数据源列表没有展示的问题
修复 Console 控制台监控报错的问题
修复 Console 共享单一 Prometheus 服务监控图表无法显示的问题
修复全量任务（dataTaskState": "COMPLETE"）在完成状态下无法修改订阅的问题
修复子账号登录后卡在登录界面的问题
修复子账号只提供审计权限时，登录后无法跳转的问题
修复修改订阅对新增表中的单张表添加虚拟列，再批量添加同名的虚拟列，会重复设置导致任务报错的问题
修复先设置虚拟列（设置为表中含有的列名的虚拟列），再批量设置目标主键或清洗数据，搜索含有该列的表时数量不正确的问题
修复修改订阅添加库，源端选一个目标端不存在的库，不选择目标端的库（页面显示为未选择的状态），点击确定可以添加成功的问题
修复重跑操作时，同一个任务位点并行修改可能导致任务状态不对的问题
修复查看机器日志因为日志调整出现的破页问题
修复 Kafka 目标端修改映射规则后，目标端 partition 没有设置成已存在 topic 的 partition 的问题
修复 Kafka 目标端手动输入表名回车后，目标端 partition 没有设置成已存在 topic 的 partition 的问题
修复达梦 DSC 实例连接不同实例操作同一个表增量数据乱序的问题
修复达梦 DSC 初始化位点，不同实例位点间隔太大的问题
修复 Paimon 写入重试导致文件找不到的问题

免费下载和使用

SaaS 全托管模式快速上手：https://www.clougence.com/docs/quick/quick_start_mgr

源码地址：点击下载

# 性能优化 # transform # column # table # postgresql # 数据库 # dba # rocketmq # oceanbase # tidb # clickhouse # gaussdb # adb # https # alert # ssh # 自动化 # prometheus # 报错 # 位点 # 找不到 # 不存在 # 分区表 # 设置为 # 重试 # 设置成 # 链路 # rabbitmq # oracle # js # json # node # 正则表达式 # 浏览器 # 工具 # 阿里云 # ai # stream # 搜索引擎 # sql # mysql # 中间件 # kafka # String # Array # for # timestamp # 递归 # int # using # 并发 # console # number

相关栏目：【科技资讯38001 】【网络动态13059 】【技术学堂11871 】【网络推广75774 】【品牌营销52040 】【 AI推广53525 】【推荐站点126806 】

上一篇文章

下一篇文章