Easy Scheduler是一個分布式工作流任務調(diào)度系統(tǒng)，主要解決數(shù)據(jù)研發(fā)ETL錯綜復雜的依賴關系，而不能直觀監(jiān)控任務健康狀態(tài)等問題。Easy Scheduler以DAG流式的方式將Task組裝起來，可實時監(jiān)控任務的運行狀態(tài)，同時支持重試、從指定節(jié)點恢復失敗、暫停及Kill任務等操作。
設計特點： 一個分布式易擴展的可視化DAG工作流任務調(diào)度系統(tǒng)。致力于解決數(shù)據(jù)處理流程中錯綜復雜的依賴關系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。 其主要目標如下：
- 以DAG圖的方式將Task按照任務的依賴關系關聯(lián)起來，可實時可視化監(jiān)控任務的運行狀態(tài)
- 支持豐富的任務類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定時調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節(jié)點恢復失敗、Kill任務等操作
- 支持工作流優(yōu)先級、任務優(yōu)先級及任務的故障轉(zhuǎn)移及任務超時告警/失敗
- 支持工作流全局參數(shù)及節(jié)點自定義參數(shù)設置
- 支持資源文件的在線上傳/下載，管理等，支持在線文件創(chuàng)建、編輯
- 支持任務日志在線查看及滾動、在線下載日志等
- 實現(xiàn)集群HA，通過Zookeeper實現(xiàn)Master集群和Worker集群去中心化
- 支持對Master/Worker cpu load，memory，cpu在線查看
- 支持工作流運行歷史樹形/甘特圖展示、支持任務狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計
- 支持補數(shù)
- 支持多租戶
- 支持國際化
- 還有更多等待伙伴們探索
與同類調(diào)度系統(tǒng)的對比
系統(tǒng)部分截圖
git地址：https://gitee.com/luchao111/EasyScheduler
版權聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 舉報，一經(jīng)查實，本站將立刻刪除。