FlinkCDC基础知识

cmyang2024-03-142024-03-24

1. 概述

FlinkCDC 是一个基于 Apache Flink 流处理引擎的 Change Data Capture（CDC）解决方案。CDC 是一种用于捕获数据库变更并将其实时传递到其他系统的技术。FlinkCDC 构建在 Apache Flink 流处理框架之上，利用其分布式、高性能、容错的特性来实现数据变更的捕获和处理。

Github地址：https://github.com/apache/flink-cdc
文档地址：https://apache.github.io/flink-cdc/master/index.html

2. 连接器

FlinkCDC连接器指的是Flink的一种用于连接到变更数据捕获（CDC）源的插件或组件，CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
当前FlinkCDC 3.x的版本支持的连接器

Connector	Database	Driver
mongodb-cdc	MongoDB: 3.6, 4.x, 5.0	MongoDB Driver: 4.3.4
mysql-cdc	MySQL: 5.6, 5.7, 8.0.xRDS MySQL: 5.6, 5.7, 8.0.xPolarDB MySQL: 5.6, 5.7, 8.0.xAurora MySQL: 5.6, 5.7, 8.0.xMariaDB: 10.xPolarDB X: 2.0.1	JDBC Driver: 8.0.28
oceanbase-cdc	OceanBase CE: 3.1.x, 4.xOceanBase EE: 2.x, 3.x, 4.x	OceanBase Driver: 2.4.x
oracle-cdc	Oracle: 11, 12, 19, 21	Oracle Driver: 19.3.0.0
postgres-cdc	PostgreSQL: 9.6, 10, 11, 12, 13, 14	JDBC Driver: 42.5.1
sqlserver-cdc	Sqlserver: 2012, 2014, 2016, 2017, 2019	JDBC Driver: 9.4.1.jre8
tidb-cdc	TiDB: 5.1.x, 5.2.x, 5.3.x, 5.4.x, 6.0.0	JDBC Driver: 8.0.27
db2-cdc	Db2: 11.5	Db2 Driver: 11.5.0.0
vitess-cdc	Vitess: 8.0.x, 9.0.x	MySql JDBC Driver: 8.0.26

支持的Flink版本

Flink® CDC Version	Flink® Version
1.0.0	1.11.*
1.1.0	1.11.*
1.2.0	1.12.*
1.3.0	1.12.*
1.4.0	1.13.*
2.0.*	1.13.*
2.1.*	1.13.*
2.2.*	1.13., 1.14.
2.3.*	1.13., 1.14., 1.15., 1.16.
2.4.*	1.13., 1.14., 1.15., 1.16., 1.17.*
3.0.*	1.14., 1.15., 1.16., 1.17., 1.18.*