Datastream CDC 可靠性與資料一致性調查

工程挑戰

系統營運狀態與目的端檢查無法提供一致的同步完整性證據；來源端存取也仰賴身分與授權設定一致。調查必須區分控制平面的健康訊號，與資料結果是否確實驗證。

架構與設計

• 將來源端授權與 connection profile 使用的身分視為同一條權限路徑一併評估。
• 比對串流狀態、回填進度與目的端實際觀測到的資料。
• 將目的端資料完整性視為獨立於串流健康狀態的驗證訊號。

實作內容

• 比對串流狀態、回填進度與目的端實際觀測到的資料。
• 檢視來源端授權，以及 connection profile 設定所使用的身分。
• 調查不同環境間的來源存取設定不一致，並將此問題與目的端資料完整性檢查分開處理。
• 記錄為何串流健康狀態與回填狀態仍須透過資料層級的檢查獨立驗證。

驗證與影響

• 調查結果區分了控制平面狀態與目的端資料檢查，也將來源身分設定列為獨立的驗證項目。
• 調查顯示，串流狀態與回填狀態本身不足以證明端到端資料完整。

限制與後續工作

• 目前沒有可重複執行的自動稽核紀錄。
• 列數比對、資料新鮮度檢查、延遲監控、主體一致性檢查與歷史資料復原仍待後續驗證。