什么是變化數(shù)據(jù)捕獲(CDC)？
2022-06-30 18:19:06
次
在進行數(shù)據(jù)ETL過程中，我們經(jīng)常需要通過周期性的定時調(diào)度將業(yè)務(wù)數(shù)據(jù)按照T+1的方式同步到數(shù)據(jù)倉庫中，進行數(shù)據(jù)分析處理，最終通過BI報表展示給最終用戶，但這種方式實時性較差，用戶往往只能看到昨天的數(shù)據(jù)，會影響用戶決策的及時性；而如果用戶要近實時的查看報表，則需要將調(diào)度周期頻率提高到小時或分鐘，這對整個數(shù)據(jù)分析系統(tǒng)是個很大的考驗；而上述過程也只適用于數(shù)據(jù)不斷新增的情況，如果遇到業(yè)務(wù)數(shù)據(jù)修改、刪除的過程，則只能每次全量同步覆蓋；在面對上述數(shù)據(jù)同步過程中數(shù)據(jù)時效性要求高、歷史數(shù)據(jù)會變更的問題，我們可以使用變化數(shù)據(jù)捕獲技術(shù)進行數(shù)據(jù)的實時同步。
什么是變化數(shù)據(jù)捕獲？
變化數(shù)據(jù)捕獲 (Change Data Capture，縮寫CDC) 是指識別和捕獲對數(shù)據(jù)庫中的數(shù)據(jù)所做的更改（包括數(shù)據(jù)或數(shù)據(jù)表的插入、更新、刪除等），然后將這些更改按發(fā)生的順序完整記錄下來，并實時通過消息中間件傳送到下游流程或系統(tǒng)的過程。通過這種方式，CDC能夠向數(shù)據(jù)倉庫提供高效、低延遲的數(shù)據(jù)傳輸，以便信息被及時轉(zhuǎn)換并交付給專供分析的應(yīng)用程序。
CDC具備那些優(yōu)點呢？
對于各種時間敏感類的數(shù)據(jù)很適合通過CDC的方式進行同步傳輸，其具備以下好處：
- 通過增量加載或?qū)?shù)據(jù)更改實時流式傳輸，而無需周期性調(diào)度執(zhí)行批量加載更新操作。
- CDC實時同步傳輸數(shù)據(jù)，它利于不停機的數(shù)據(jù)庫遷移，并支持實時分析，可以幫助用戶根據(jù)最新的數(shù)據(jù)做出更快、更準確的決策。
- CDC最大限度地減少了數(shù)據(jù)的傳輸網(wǎng)絡(luò)流量，適合跨廣域網(wǎng)傳輸數(shù)據(jù)。
- CDC可以確保多個系統(tǒng)中的數(shù)據(jù)保持同步。
CDC的使用場景有哪些呢？
CDC技術(shù)的應(yīng)用場景非常廣泛，包括：
- 數(shù)據(jù)分發(fā)：將一個數(shù)據(jù)源的數(shù)據(jù)分發(fā)給多個下游業(yè)務(wù)系統(tǒng)，常用于業(yè)務(wù)解耦、微服務(wù)系統(tǒng)。
- 數(shù)據(jù)采集：面向數(shù)據(jù)倉庫、數(shù)據(jù)湖的ETL數(shù)據(jù)集成，消除數(shù)據(jù)孤島，便于后續(xù)的分析。
- 數(shù)據(jù)同步：常用于數(shù)據(jù)備份、容災等。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
