多级缓存一致性方案

cmyang2024-03-112024-03-24

1. 背景

目前大部分的项目都是读多写少，在读取数据时经常会使用Redis缓存技术来加快读响应时间和减少服务数据库压力，在使用缓存时，会面临一个问题，如何保障缓存与数据库的数据一致。

常见的缓存更新策略

最常见的缓存模型，在该策略中，缓存不是数据存储流程中的必需环节，而是位于数据库旁边作为性能优化手段
读取数据，如果缓存中存在，直接返回缓存中的数据，如果不存在从数据库查询，并将数据放在缓存中
更新数据，首先更新数据库，再删除缓存
这种方案在并发场景下可能会出现数据不一致的情况，比如A线程查询缓存没数据，查数据库结果为1，但还没设置到缓存，B线程更新数据库结果为2，并删除缓存，这时候A线程再去设置了查询到的结果1，这样数据就不一致了，或者应用程序在删除缓存时没有成功，也会出现不一致的情况，这些概率都比较小
延迟双删，为了解决上面的问题，可以通过延迟双删的方式来保障数据的最终一致性，更新数据库后，删除缓存，休眠一段时间后，再次删除缓存，休眠时间更新业务从数据库读取数据的耗时来评估
如果有分布式事务，导致数据回滚，缓存无法回滚

CDC (Change Data Capture) 是一种数据复制和同步策略，用于监听数据库中的数据变化，并传输到其他系统或数据存储中，从而保持不同系统间的数据一致性和同步，常见的工具如：Canal、Debezium、FlinkCDC，CDC具有以下优点

实时性：CDC 可以捕获数据库中发生的变化，并将这些变化实时传送到其他系统或数据存储中。这意味着数据同步可以几乎实时地进行，从而确保不同系统之间的数据保持最新。
精确性：CDC 可以捕获单个数据库操作的细粒度变化，例如插入、更新和删除操作，因此可以精确地了解数据的变化情况，而无需进行全表扫描或比较。
性能良好：由于 CDC 只捕获发生变化的数据，而不是整个表或数据库，因此可以减少对系统资源的消耗，提高性能效率。这对于大型数据库和高频率变化的系统尤其重要。
避免数据丢失：通过实时捕获和传送数据变化，CDC 可以避免数据丢失或遗漏，确保所有变化都得到同步和处理。
多系统集成：CDC 可以用于将数据从一个系统同步到多个目标系统，支持多系统之间的数据集成和同步，从而实现系统之间的数据共享和协同工作。
灵活性：CDC 可以根据需求配置和定制，支持不同的同步模式和数据传输方向，适用于各种复杂的数据集成和同步场景。
监听数据库的日志，再更新缓存，与业务结构，达到近乎实时的同步