CDC方案对比

1. 什么是CDC

CDC是Change Data Capture的缩写，中文翻译数据变更捕获，它是一种用于数据管理和数据集成的技术，主要用于将源系统中发生的数据变更捕获并传播到目标系统中。这种技术允许实时地捕获和传输数据库中的变化，从而确保目标系统与源系统中的数据保持同步。使用场景：

  1. 实时数据仓库更新：CDC可以用于将数据库中发生的变更实时地同步到数据仓库中，以支持实时报表、分析和业务智能应用程序。
  2. 数据复制：在跨数据中心或跨地理位置的情况下，可以使用CDC技术实时复制数据，确保所有位置的数据保持同步。
  3. 实时分析：对于需要在数据更新时立即进行实时分析的场景，如在线广告投放、欺诈检测等，CDC可以捕获数据变更并将其传送到分析系统中。
  4. 数据备份和恢复：CDC可以用于实时备份生产数据库，并在需要时将变更应用到备份数据库中，以实现快速的数据恢复。
  5. 数据集成和数据迁移：在数据迁移或系统集成过程中，CDC可以用于捕获源系统中的变更并将其应用到目标系统中，实现数据的平滑迁移和集成。
  6. 实时数据同步：在多个应用程序或系统之间需要实时数据同步的情况下，可以使用CDC技术捕获和传输数据变更，确保所有系统中的数据保持同步。
  7. 事件驱动架构：CDC可以作为事件驱动架构的一部分，捕获数据变更并触发相应的事件处理逻辑，实现高度可扩展的实时应用程序。

常见的CDC方案：Canal，Debezium，FlinkCDC

2. Canal


Canal 是阿里巴巴开源的一款基于 MySQL 数据库的数据变更捕获工具。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
Canal 通过监听 MySQL 数据库的二进制日志（binlog），捕获并解析数据库的增删改操作事件，将这些变更实时推送给订阅者，使得下游系统可以基于变更事件进行实时同步、数据分析或业务逻辑处理。
特点：

  1. 部署简单：对于中小规模的 MySQL 数据库同步场景，Canal 提供了较为简单的部署方式和较低的成本方案。
  2. 增量同步：专注于增量数据同步，避免了全量同步带来的资源消耗和延迟问题。全量数据同步需要结合DataX等工具
  3. 本身不支持分布式，可以配合zookeeper搭建高可用的集群，但统一时间只有一个节点在工作
  4. 学习成本低
  5. 项目活跃的较低

3. Debezium


Debezium 是由 Red Hat 开发和维护的开源项目。用于捕获数据库变更并将其以事件流的形式传输到 Apache Kafka 或其他类似的流式处理平台上。它可以监控多种数据库的变更，包括 MySQL、PostgreSQL、MongoDB 等。
特点：

  1. 基于 Apache Kafka 构建：Debezium 使用 Apache Kafka 作为事件流传输的基础，借助 Kafka 的高吞吐量和可靠性来实现数据变更的实时传输。
  2. 支持多种数据库：Debezium 支持捕获多种数据库中的变更，包括 MySQL、PostgreSQL、MongoDB 、SQL Server、Oracle、Db2等，通过数据库的事务日志（如 MySQL 的 binlog、PostgreSQL 的 WAL）来实现数据变更的捕获。
  3. 实时数据同步：Debezium 可以实时地捕获数据库中的数据变更，并将其作为事件流发送到 Kafka 主题中，实现数据的实时同步和更新。
  4. 支持集群部署：支持简单的单节点设置到大规模分布式环境
  5. 支持全量数据同步：在进行初次启动时，Debezium 可以从数据库中读取全量数据，并将其作为初始快照（snapshot）发送到 Apache Kafka 或其他目标系统中。然后在之后的变更捕获过程中，只传输增量变更数据，实现实时的数据同步。
  6. 项目的活跃度高

4. FlinkCDC


FlinkCDC 是一个基于 Apache Flink 流处理引擎的 Change Data Capture（CDC）解决方案。CDC 是一种用于捕获数据库变更并将其实时传递到其他系统的技术。FlinkCDC 构建在 Apache Flink 流处理框架之上，利用其分布式、高性能、容错的特性来实现数据变更的捕获和处理。
特点：

  1. 基于Flink：FlinkCDC 基于 Apache Flink 流处理引擎构建，利用了Flink分布式、高吞吐、低延迟的特点
  2. 集成Debezium：FlinkCDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力
  3. 支持多种数据源：FlinkCDC 支持捕获多种数据源（如 MySQL、PostgreSQL、Oracle 等）中的数据变更，通过对数据库的日志（如 binlog、WAL）进行解析和处理来实现 CDC 功能。
  4. 精确一次处理：FlinkCDC 保证了数据变更的精确一次处理（exactly-once processing），确保捕获的数据变更不会丢失也不会重复。
  5. 水平扩展和容错性：FlinkCDC 利用 Apache Flink 的水平扩展和容错性来处理大规模数据流，并保证高性能和高可靠性。
  6. 灵活的数据处理：FlinkCDC 提供了丰富的数据处理操作，可以对捕获的数据变更进行过滤、转换、聚合等操作，满足不同场景下的数据处理需求。
  7. 项目活跃度高
  8. 学习成本较高

5. CDC方案的对比

  1. 支持数据源：Canal只支持Mysql，Debezium和FlinkCDC支持多种常见的数据源
  2. 全量+增量同步：Canal只支持增量同步，Debezium和FlinkCDC全量+增量同步
  3. 分布式部署：Canal自身不支持分布式部署，需要借助ZK搭建高可用集群，Debezium和FlinkCDC支持分布式部署
  4. 依赖服务：Canal使用简单，独立完成数据同步。Debezium需要依赖Kafka，FlinkCDC需要依赖Flink
  5. 全量数据同步：Debezium加锁同步，影响性能，FlinkCDC无锁同步
  6. 项目活跃度：Canal活跃度较低，Debezium和FlinkCDC活跃度高