現代的企業做數字化轉型一定已經存在大量的應用和數據,作為新一代的開發工具必須要有數據集成能力,這樣才可以整合寶貴的歷史數據。江蘇南大先騰信息產業有限公司-樂扣低代碼平臺 是如何做數據整合的呢?
數據資源定義
用戶需要在資源管理中配置已有系統的數據和服務,包括各種關系數據庫、非關系數據庫、消息中間件和restful服務。
租戶數據資源管理
用戶可以將現有所有業務系統中的數據和服務都配置到這個資源列表中。
定義ETL步驟
用戶可以通過API配置工具來定義ETL的步驟,下圖是以一個交易數據匯總整合為例來展示ETL的步驟的。
定義ETL數據抽取轉換邏輯
步驟如下:
- 獲取線上交易數據,并對數據進行過濾,過濾掉無用的數據。
- 獲取線下交易數據,可能和線上交易數據不在一個庫中,并先對數據進行整理(計算)在進行過濾。
- 匯總線上和線下交易數據。
- 寫入到目標數據庫(數據中心)中。
執行數據轉換
ETL事務一般是在后臺運行的,可以通過定時任務來執行也可以通過消息機制來出發。
ETL事務出發機制
總結
樂扣低代碼平臺沒有專門設計一個ETL工具而是通過給api接口添加觸發機制(定時任務或者消息訂閱)來達到ETL的功能。
版權聲明:本文內容由互聯網用戶自發貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容, 請發送郵件至 舉報,一經查實,本站將立刻刪除。