通過官方文檔和一些博客簡單的知道了Airflow的使用方式,但是請問一下大神,如果我的Python項目是很多個腳本代碼組成的,如何使用Airflow進行管理呢?我自己目前學習了解到的是,通過在管道中可以通過設置operators(任務)來執行一些bash命令或者腳本以及可以調用Python的一些腳本自定義一些函數處理邏輯,但是具體在項目實踐開發的過程中該如何添加到Airflow進行管理呢?例如:用Python集成消息中間件,我訂閱了一個主題A,然后主題A發布了消息(一些數據),我接受到消息后,對它進行了數據清理,之后存入相應的數據庫。以上這個Python寫完之后,我如何用Airflow去管理這個腳本呢?剛開始學習使用airflow這個工具,望大神指導!
添加回答
舉報
0/150
提交
取消