Easy Scheduler是一個(gè)分布式工作流任務(wù)調(diào)度系統(tǒng)，主要解決數(shù)據(jù)研發(fā)ETL錯(cuò)綜復(fù)雜的依賴(lài)關(guān)系，而不能直觀監(jiān)控任務(wù)健康狀態(tài)等問(wèn)題。Easy Scheduler以DAG流式的方式將Task組裝起來(lái)，可實(shí)時(shí)監(jiān)控任務(wù)的運(yùn)行狀態(tài)，同時(shí)支持重試、從指定節(jié)點(diǎn)恢復(fù)失敗、暫停及Kill任務(wù)等操作。
設(shè)計(jì)特點(diǎn)： 一個(gè)分布式易擴(kuò)展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)。致力于解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)雜的依賴(lài)關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開(kāi)箱即用。 其主要目標(biāo)如下：
- 以DAG圖的方式將Task按照任務(wù)的依賴(lài)關(guān)系關(guān)聯(lián)起來(lái)，可實(shí)時(shí)可視化監(jiān)控任務(wù)的運(yùn)行狀態(tài)
- 支持豐富的任務(wù)類(lèi)型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定時(shí)調(diào)度、依賴(lài)調(diào)度、手動(dòng)調(diào)度、手動(dòng)暫停/停止/恢復(fù)，同時(shí)支持失敗重試/告警、從指定節(jié)點(diǎn)恢復(fù)失敗、Kill任務(wù)等操作
- 支持工作流優(yōu)先級(jí)、任務(wù)優(yōu)先級(jí)及任務(wù)的故障轉(zhuǎn)移及任務(wù)超時(shí)告警/失敗
- 支持工作流全局參數(shù)及節(jié)點(diǎn)自定義參數(shù)設(shè)置
- 支持資源文件的在線上傳/下載，管理等，支持在線文件創(chuàng)建、編輯
- 支持任務(wù)日志在線查看及滾動(dòng)、在線下載日志等
- 實(shí)現(xiàn)集群HA，通過(guò)Zookeeper實(shí)現(xiàn)Master集群和Worker集群去中心化
- 支持對(duì)Master/Worker cpu load，memory，cpu在線查看
- 支持工作流運(yùn)行歷史樹(shù)形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計(jì)、流程狀態(tài)統(tǒng)計(jì)
- 支持補(bǔ)數(shù)
- 支持多租戶(hù)
- 支持國(guó)際化
- 還有更多等待伙伴們探索
與同類(lèi)調(diào)度系統(tǒng)的對(duì)比
系統(tǒng)部分截圖
git地址：https://gitee.com/luchao111/EasyScheduler
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻(xiàn)，該文觀點(diǎn)僅代表作者本人。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請(qǐng)發(fā)送郵件至 舉報(bào)，一經(jīng)查實(shí)，本站將立刻刪除。