我正在嘗試將 json 文件從 Google 云存儲上傳到大查詢。但是這個 json 文件在被推送到大查詢之前需要預處理。我打算使用 airflow operator gcs_to_bq。在這種情況下，如何處理 json 數據？請賜教。我也可以使用python_operator，但如果有任何干凈的解決方案來使用現有的運算符，那么它也很好。先感謝您
1 回答
烙印99
TA貢獻1829條經驗 獲得超13個贊
gcs_to_bq運算符基本上包裝了 BigQuery 功能以從 storage加載JSON 文件。這意味著 JSON 數據直接從 GCS 進入 BigQuery，而無需通過 Composer 集群。
此外，加載操作沒有指定 python_callable 或以其他方式預處理數據的選項?？紤]到這一點，使用 apython_operator進行預處理似乎是一個不錯的選擇。
如果數據量很大并且開始導致集群出現內存問題，您可以考慮使用Dataflow等替代方法在將數據插入 BigQuery 之前對數據進行預處理。
添加回答
舉報
0/150
提交
取消