on_failure_callback我遇到多次調用功能的問題。目前,我的主Dag分為 1 個PythonOperator和 4 個SubDag,每個SubDag包含多個PythonOperator。t_python_1 >> t_subdag_2 >> t_subdag_3 >> t_subdag_4 >> t_subdag_5__t_subdag_2__:t_sub2_python_1 >> t_sub2_python_2 t_sub2_python_3...在設置過程中,我在main Dag的default_args中添加了一個選項。對于每個SubDag,我將其設置為。on_failure_callbackNone主要參數Dag:DEFAULT_ARGS_MAINDAG = { "owner" : "airflow", "depends_on_past" : False, "start_date" : days_ago(2), "retries" : 2, "retry_delay" : timedelta(seconds=30), "on_failure_callback" : custom_failure_handle,}參數SubDag:DEFAULT_ARGS_SUBDAG = { "owner" : "airflow", "depends_on_past" : False, "start_date" : days_ago(2), "retries" : 2, "retry_delay" : timedelta(seconds=30), "on_failure_callback" : None,}但是當我運行Dag并檢查任務時,似乎每個子dag 的任務都on_failure_callback設置為custom_failure_handle而不是None。因此,在執行過程中,如果SubDag任務失敗,on_failure_callback則會被調用兩次:在主Dag中和在SubDag中。是否可以對父Dag和SubDag進行單獨的配置,以確保失敗回調不會被調用兩次?
1 回答

慕桂英546537
TA貢獻1848條經驗 獲得超10個贊
所以問題不在Airflow
一邊,而是在我實現為我的SubDag
. 基本上SubDag
default_args總是被主要Dag
參數覆蓋。
當然,您可以通過與SubDag
常規Dag
.
添加回答
舉報
0/150
提交
取消