數據開發任務調度難、后期運維復雜、效率低？美林數據調度編排來幫你！
2023-03-28 14:45:00
次
某零售集團的數據智能團隊，隨著集團業務的快速發展，信息系統中的數據體量日益增加，來自業務部門的數據類需求不斷涌現，深層次數據查詢、數據分析、數據建模需求日益明顯。
在項目建設過程中，客戶基于Tempo數據工廠做了大量的集成開發任務，基于Tempo機器學習平臺做了大量的經營決策模型，如何實現此類任務的智能化的調度，保障數據準確、及時地更新，成了核心需要解決的問題。
一、業務痛點
傳統的數據開發任務調度執行方式，主要分為3種：人工調度，基于sql、java、python等編程語言開發的定時調度腳本、ETL工具調度。
這3種調度方式主要存在的問題如下：
01、人工調度：需要開發人員對業務流程、開發流程高度熟悉，運維的難度高、成本大、準確率低。
02、腳本調度：通過代碼進行編排，難度較大，缺乏任務監控、出錯重試、補錄等機制。
03、ETL調度：各任務節點通過并行、串行的方式進行編排，一方面無法充分使用系統資源，另一方面無法支持斷點續跑。
傳統的方法無法高效解決任務調度的問題，該如何破局呢？來看看美林數據的解決思路。
二、解決思路
在實際生產中，一個好用的調度系統需要兼顧準確性、及時性和安全性。
準確性：要在正確的時間點啟動正確的作業，確保作業按照正確的依賴關系及時準確地執行；
及時性：要實現合理調度系統資源，確保任務能夠及時執行完成，保障業務正常開展；
安全性：當遭遇網絡或業務系統故障時，要具備完善的監控日志查看、數據補錄、數據重跑等機制，保障數據安全。
基于以上思路，美林數據專家團隊結合該集團實際業務情況，為其定制了一套數據加工鏈路的標準流程，將每個階段的數據進行高效抽取，并為后續的可視化分析、數據建模提供賦能，從而滿足數據智能團隊統一數據管理、快速支撐業務的需求。
△某集團的加工鏈路標準流程圖
三、Tempo SA調度編排智能解決方案
Tempo SA調度編排智能解決方案是一款統一管理系統調度任務的自動化方案，主要包含可視化的調度中心、任務管理、周期實例的重跑、補數據等實例運維模塊。能夠實現調度復雜編排和監控，通過可視化配置、高容錯、可修補等功能重點解決數據加工處理、數倉建設等業務場景中調度編排問題。
01、統一的任務管理能力
在Tempo調度編排調度中心，可以按照項目、業務流、文件夾等方式開展調度任務，通過樹形結構對Tempo 數據工廠的數據開發任務、Tempo人工智能平臺的建模任務進行管理。以某集團的數據倉庫項目建設為例，我們按照銷售業務、倉儲業務、物流業務對任務主題進行劃分，再按照數倉分層情況，就能實現對任務的分類管理。
02、自動化調度能力
在Tempo調度編排調度中心的流程配置模塊，可根據業務需求按周期定時定點開啟任務調度，同時可以設置任務生效的時間范圍，通過這種配置方式實現程序的自動化調度，還能通過配置流程出錯重試次數，提升調度程序的容錯性。
此外，Tempo調度編排支持配置各任務間的依賴關系，保障任務按照業務流程執行，保障我們的數據質量，無依賴關系的任務間相互獨立，充分調度系統資源，提升整體調度的執行效率。
03、運維監控、數據補錄能力
Tempo調度編排能夠通過可視化界面實時監控任務運行情況，支持查看執行記錄的統計和任務運行日志等操作。
當運維人員發現任務執行失敗后，可以用過平臺進行數據補數據，補數據操作可以從執行失敗的流程節點開始，并執行有依賴關系的全部下游任務，實現任務的斷點續跑功能，降低了數據補錄的操作難度，縮短了整體數據補錄時間。
04、多場景混合編排能力
在Tempo產品體系下，可通過Tempo數據工廠實現數據開發、指標開發、通過Tempo人工智能平臺實現數據建模等流程混合編排調度。
在Tempo SA調度編排智能解決方案的助力下，該集團高效地解決了數據加工處理、數倉建設等業務場景中調度編排問題，提升了企業數據質量和業務需求開發效率，為企業經營決策分析賦能。
小T總結
Tempo調度編排簡易操作的可視化作界面，極大降低使用門檻；
實時監控任務運行，操作日志可追溯，大幅提升了安全性；
自動化調度、任務依賴關系配置、補數據等功能，有效降低了運維的難度及成本。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
