亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Airflow Dag 失敗回調被多次調用

Airflow Dag 失敗回調被多次調用

Helenr 2023-07-11 14:30:14
on_failure_callback我遇到多次調用功能的問題。目前,我的主Dag分為 1 個PythonOperator和 4 個SubDag,每個SubDag包含多個PythonOperator。t_python_1 >> t_subdag_2 >> t_subdag_3 >> t_subdag_4 >> t_subdag_5__t_subdag_2__:t_sub2_python_1 >> t_sub2_python_2 t_sub2_python_3...在設置過程中,我在main Dag的default_args中添加了一個選項。對于每個SubDag,我將其設置為。on_failure_callbackNone主要參數Dag:DEFAULT_ARGS_MAINDAG = {    "owner"               : "airflow",    "depends_on_past"     : False,    "start_date"          : days_ago(2),    "retries"             : 2,    "retry_delay"         : timedelta(seconds=30),    "on_failure_callback" : custom_failure_handle,}參數SubDag:DEFAULT_ARGS_SUBDAG = {    "owner"               : "airflow",    "depends_on_past"     : False,    "start_date"          : days_ago(2),    "retries"             : 2,    "retry_delay"         : timedelta(seconds=30),    "on_failure_callback" : None,}但是當我運行Dag并檢查任務時,似乎每個子dag 的任務都on_failure_callback設置為custom_failure_handle而不是None。因此,在執行過程中,如果SubDag任務失敗,on_failure_callback則會被調用兩次:在主Dag中和在SubDag中。是否可以對父Dag和SubDag進行單獨的配置,以確保失敗回調不會被調用兩次?
查看完整描述

1 回答

?
慕桂英546537

TA貢獻1848條經驗 獲得超10個贊

所以問題不在Airflow一邊,而是在我實現為我SubDag. 基本上SubDag default_args總是被主要Dag參數覆蓋。

當然,您可以通過與SubDag常規Dag.


查看完整回答
反對 回復 2023-07-11
  • 1 回答
  • 0 關注
  • 232 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號