現(xiàn)代的企業(yè)做數(shù)字化轉(zhuǎn)型一定已經(jīng)存在大量的應(yīng)用和數(shù)據(jù)，作為新一代的開發(fā)工具必須要有數(shù)據(jù)集成能力，這樣才可以整合寶貴的歷史數(shù)據(jù)。江蘇南大先騰信息產(chǎn)業(yè)有限公司-樂(lè)扣低代碼平臺(tái) 是如何做數(shù)據(jù)整合的呢？
數(shù)據(jù)資源定義
用戶需要在資源管理中配置已有系統(tǒng)的數(shù)據(jù)和服務(wù)，包括各種關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)、消息中間件和restful服務(wù)。
租戶數(shù)據(jù)資源管理
用戶可以將現(xiàn)有所有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)和服務(wù)都配置到這個(gè)資源列表中。
定義ETL步驟
用戶可以通過(guò)API配置工具來(lái)定義ETL的步驟，下圖是以一個(gè)交易數(shù)據(jù)匯總整合為例來(lái)展示ETL的步驟的。
定義ETL數(shù)據(jù)抽取轉(zhuǎn)換邏輯
步驟如下：
- 獲取線上交易數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，過(guò)濾掉無(wú)用的數(shù)據(jù)。
- 獲取線下交易數(shù)據(jù)，可能和線上交易數(shù)據(jù)不在一個(gè)庫(kù)中，并先對(duì)數(shù)據(jù)進(jìn)行整理（計(jì)算）在進(jìn)行過(guò)濾。
- 匯總線上和線下交易數(shù)據(jù)。
- 寫入到目標(biāo)數(shù)據(jù)庫(kù)（數(shù)據(jù)中心）中。
執(zhí)行數(shù)據(jù)轉(zhuǎn)換
ETL事務(wù)一般是在后臺(tái)運(yùn)行的，可以通過(guò)定時(shí)任務(wù)來(lái)執(zhí)行也可以通過(guò)消息機(jī)制來(lái)出發(fā)。
ETL事務(wù)出發(fā)機(jī)制
總結(jié)
樂(lè)扣低代碼平臺(tái)沒(méi)有專門設(shè)計(jì)一個(gè)ETL工具而是通過(guò)給api接口添加觸發(fā)機(jī)制（定時(shí)任務(wù)或者消息訂閱）來(lái)達(dá)到ETL的功能。
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)，該文觀點(diǎn)僅代表作者本人。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請(qǐng)發(fā)送郵件至 舉報(bào)，一經(jīng)查實(shí)，本站將立刻刪除。