一、數據中臺是什么?
提到數據中臺,就先要了解什么是中臺,對于中臺的建設,大都是跟隨阿里中臺的方法論。中臺的作用在于打通固有多業務系統之間的數據壁壘,融合各個不同業務系統間所產生的數據,通過數字化的運營和驅動來支撐前端業務的快速變化,從而產生更大的價值。而新一代數據中臺,在融合數據的基礎上,更要關注是否能夠積累和沉淀行業Know-How,將數據智能和組織智能融合,形成行業智能,更敏捷更快速的響應前端業務的變化,更好的協作創新。
數據中臺進入日益深化的階段,數據資產管理能力毋庸置疑成為各行業場景數據管控與價值發揮的必備能力。
數據中臺技術和通用功能場景已經相對成熟和標準化,市場上已經有很多相對標準化的中臺產品。但大多數是大而全,實際需求中又有很多定制化需求,成本較高,使用上也有一定難度。
現在低代碼、無代碼模式的產品比較多,例如表單類無代碼、應用管理低代碼、數據管理無代碼、甚至還有數字孿生無代碼等等,這類模式能夠讓是數字化應用的構建變得比較簡單。
所以數據中臺也一樣,由于功能需求都逐漸標準化,將通用功能模塊進行封裝,根據管理需求進行組裝搭建,個性化需求再進行二開,這會大大提高數據中臺的構建效率,同時這樣的頁面形式、功能都易上手。主要一個比較全面且輕量級的數據中臺應用,不僅成本低,而且更加實用和靈活。
基于這樣的想法,在網上一搜,還真有這樣的平臺——smardaten。
這個平臺是一整個的無代碼平臺,但看起來能力比常見的無代碼平臺范圍要多,包括核心的三塊:數據管理類、數據分析和可視化、無代碼應用開發。
仔細一看功能架構,功能還真不少,數據這塊是包含數據連接、IoT設備數據采集、數據標準、數據質量、數據集成、數據安全、數據服務等功能和服務。
據了解, smardaten上面各個所謂的功能開發模塊,本身都是可以做為組件模塊之一被組裝到應用中去,也就是說,比如數據這些功能模塊,可以作為工具單獨使用,也可以獨立集成在客戶業務平臺中,可以搭建一些大數據管理平臺、數據處理平臺、數據治理平臺、輕量級數據中臺等數據場景。
這就有意思了,真的可以做到這樣嗎?
我們先回過頭看看一般的數據中臺需要具備哪些功能,再對比下smardaten是否真的滿足。
二、數據中臺的特點
1、數據中臺需要具備哪些特性?
- 數據中臺需要具備高可用性和可擴展性,能夠支持海量數據的存儲和處理,滿足業務高峰期的需求;
- 數據中臺需要支持多種數據源的接入和集成,包括結構化和非結構化數據,能夠實現數據的清洗、轉換和標準化;
- 數據中臺需要提供數據安全和隱私保護機制,確保數據的機密性、完整性和可用性;
- 數據中臺需要支持多維度的數據分析和挖掘,能夠為業務決策提供可靠的數據支持;
- 數據中臺需要具備良好的用戶體驗和易用性,能夠為用戶提供簡單、直觀、高效的數據服務;
2、數據中臺需要提供哪些服務?
三、數據中臺搭建工具
smardaten是一個以數據驅動的無代碼平臺,可以減少大量開發工作,實現快速開發。并且它是大數據起家,對于數據治理這方面,有自己獨特的見解和能力,平臺本身就已經包含了大多常見的數據處理能力,大大減少了開發難度和設計難度。
smardaten 通過自定義軟件裝配,可以快速實現項目定制。通過插件化配置,實現了配置過程可視化。設計即開發、開發即交付的設計態理念減少重復性配置開發工作,減少需求分析設計及溝通 確認時間,把控項目進度;從需求快速確認、設計快速呈現、系統快速生產落地,快速的響應機制提升客戶滿意度。它支持以下功能:
- 數據資產管理
- 數據訪問管理
- 數據交換平臺
- 數據共享平臺
- 數據質量管理
- 數據主題分析
- 系統運行管理
四、如何用無代碼快速搭建數據中臺
一個合格的地理數據中臺,首先需支持多形式數據源導入、數據的的分析和處理、數據的可視化展示、可拖拽的圖表繪制、分析儀的有效管理。
其次,通過數據中臺數據可視化,將國家地理信息展示的清晰易懂、淋漓盡致。將復雜的地理空間數據轉化為直觀、易于理解的地圖和圖像,從而提高公眾對地理空間數據的理解和應用。將不同來源的地理信息整合在一起,促進地理信息可視化和共享。
建立統一的數據管理和服務平臺,降低企業的成本和提高效率。同時,通過自動化和智能化的數據處理和分析技術,減少人工干預,提高數據處理和分析的效率和準確性。
下面以國家地理數據中臺為例,用smardaten無代碼軟件開發平臺,快速搭建地理數據中臺。
1、多源數據接入
(1)在功能導航中單擊選擇“數據圖書館”,進入數據圖書館頁面;
(2)在左側目錄中選擇需要創建數據資產的分組,單擊右上角“新增數據”,進入創建數據資產類型選擇頁面;
(3)選擇資產類型,進入創建資產頁面;
(4)選擇數據源,“數據源名稱”自動填充“JDBC連接串”等信息,“用戶名”、“密碼”和“客戶端字符集”會自動填充該數據源的相應信息,單擊 “確認”;
(5)進入數據資產配置頁面,填寫資產名稱及其他配置信息,配置完成后,單擊右上角“保存”;
(6)進入該數據資產詳細信息頁面,配置完成后,可在菜單欄選擇數據結構、關聯關系、血緣關系、分析圖表、質量檢測、權限設置和生命周期進一步的配置數據資產信息;
2、數據流(數據集成)
通過數據流的形式導入數據,數據流均在系統預置的默認文件夾目錄下,其他用戶共享的數據流在系統預置的共享文件目錄下。 smardaten平臺,居然支持這么詳盡的數據流~
3、數據資產管理
(1)選中一個圖書館目錄,在新增數據右邊點擊導入數據
(2)選擇從數據庫導入
(3)選擇一個數據庫源
(4)顯示數據庫表,全選、導入,會將數據庫表一次性導入圖書館。
4、數據訪問管理
(1)服務注冊
功能包含在下頁,可搭建內部服務,封裝第三方外部服務。
點擊新建、內部服務,通常選擇restful協議,如果選擇下載模式,則接口訪問時直接將返回的數據轉換為excel文件。
接口選擇對應的操作數據資產,可選擇對資產進行增刪改查操作。選擇資產某個字段作為接口的輸入參數,選擇多個字段作為返回字段。
(2)服務編排
- 提供可視化編排功能,滿足復雜業務需要的 API 服務編排開發;
- 支持在線進行服務調用測試;
- 支持針對不同用戶需求,能夠通過界面化對不同服務字段進行剪裁,按剪裁后的服務返回調用結果
對已有服務進行編排:
流程化服務編排,進行數據操作、服務調用:
(3)服務發布
顯示各類服務的列表,點擊行按鈕,選擇服務上架、下架操作。
(4)服務下架審核
點擊服務列表里面操作欄,審核按鈕,對于上下架服務的操作,由管理員進行審核,選擇通過或拒絕:
5、數據交換平臺
數據采集平臺可設置多個數據流(新增),用于從原始數據倉庫到目標數據倉庫的數據采集。
數據流配置頁面,可以可視化配置數據采集的流程:
選中輸入數據源、選擇配置、左邊樹選擇數據圖書館中的倉庫,右邊選擇倉庫的數據資產:
可以把源數據直接加載到目標數倉,也可以選擇ETL節點對數據進行選擇、處理,加載到目標數倉。
6、數據共享平臺
左邊目錄樹上進行數據共享接口目錄增刪改;右邊點擊新建、內外部服務增刪改。
7、共享任務調度
(1)任務調度和執行管理
查看任務列表,并可在行按鈕點擊立即執行交換任務:
并可點擊“查看歷史”查看執行情況:
(2)資源發布流程審批
業務部門集中處理待處理的審批流程,點擊“待我處理”,查看待審批事務:
點擊行按鈕“處理”、切換到詳情頁面
點擊同意或拒絕,并填寫審批意見,即可完成審批:
五、數據可視化分析
數據中臺做數據管理后,還可以快速去使用這些數據,實現數據多維分析和可視化展示。
數據可視化可以將復雜的數據和信息轉化為直觀、易于理解的圖形和圖像,從而幫助人們更好地理解和分析數據。通過數據可視化,數據變得更加清晰和易于理解,使人們更容易理解和使用數據,從而更好地制定決策。數據可視化可以通過將數據轉化為視覺形式,使數據更容易被訪問和比較。這有助于人們更好地了解數據的趨勢和模式,從而更好地預測未來趨勢。
1、數據分析
平臺數據分析的簡單操作,并以地理數據分析圖展示。
(1)單擊“數據準備”標簽右側“加號”的可添加工作區,工作區可對選擇的數據資產進行圖表配置。
(2)用戶在左側導航欄中選擇字段,右鍵可對字段做排序、統計、高級計算、過濾、翻譯、別名、精度設置。
(3)單擊左下角“添加字段”,可根據需要通過表達式配置除資產字段外的其他字段,增加的字段可在數據分析儀中展示并輸出。
(4)單擊拖動左側字段到右側面板可展示該字段對應的值,鼠標停留在字段后的圖標上,可將該字段從右側圖標中刪除。
數據可視化支持全屏視圖、折線圖、折線圖、面積圖、餅圖、儀表圖、地圖等形式的視圖。
這樣就可以組裝出一個簡單的數據儀表盤,樣式可以自助調整的好看一些。
2、可視化大屏
將數據中臺數據,通過簡單拖拽即可生成可視化圖表,制作過程所見即所得。
對底層各類數據的統一管理和展示,實時掌握數據治理情況,還可以將數據中臺中已經做好的分析圖表拖拽到可視化大屏,進行拖拽、布局,輕松搭建可視化大屏。
smardaten平臺提供豐富圖表組件和交互控件,即拖即用;支持一鍵智能計算,可快速生成排名、占比、同環比、累計等;也支持向導式生成計算度量、分組計算等;還支持儀表盤智能問答,搜索一下,即刻分析。
地理數據中臺初步搭建的首頁效果如下:
數據可視化可以將復雜的數據和信息轉化為直觀、易于理解的圖形和圖像,從而幫助人們更好地理解和分析數據。通過數據可視化,數據變得更加清晰和易于理解,使人們更容易理解和使用數據,從而更好地制定決策。數據可視化可以通過將數據轉化為視覺形式,使數據更容易被訪問和比較。這有助于人們更好地了解數據的趨勢和模式,從而更好地預測未來趨勢。
六、總結
數據管理越來越重要,在各類場景中必不可少的要部署數據集成管理平臺。
雖說中臺已死,但本質上數據中臺相關的數據管理能力,數據沉淀和數據快速使用等一套邏輯是相通的。市面上各類類中臺產品也相對成熟,但難免讓人覺得平臺沉重,使用難度大、部署成本高,替換成本更高,食之無味,棄之可惜~
無代碼看似和數據中臺不相關,但如果能用無代碼去構建一套輕量級、好用、能用的數據管理平臺,何樂而不為?
版權聲明:本文內容由互聯網用戶自發貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容, 請發送郵件至 舉報,一經查實,本站將立刻刪除。