亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

在 Flyte 中的任務之間傳遞 blob

在 Flyte 中的任務之間傳遞 blob

慕婉清6462132 2023-12-20 16:16:43
我正在嘗試創建一個需要在多個任務之間傳遞數據的Flyte工作流程。我查看了文檔中的示例之一,但嘗試盡可能少地重新創建 blob 傳遞,但我仍然無法讓它工作。這是我的完整工作流程定義(當然,我的實際用例會產生更多數據):from flytekit.sdk.tasks import python_task, outputs, inputsfrom flytekit.sdk.types import Typesfrom flytekit.sdk.workflow import workflow_class, Output, Input@inputs(the_text=Types.String)@outputs(the_blob=Types.Blob)@python_taskdef create_blob(wf_params, the_text, the_blob):    fname = "a-file.txt"    with open(fname, "w") as f:        f.write(the_text)    the_blob.set(fname)@inputs(the_blob=Types.Blob)@outputs(the_text=Types.String)@python_taskdef read_blob(wf_params, the_blob, the_text):    the_blob.download()    with open(the_blob.local_path) as f:        the_text.set(f.read())@workflow_classclass PassBlob:    input_text = Input(Types.String, required=True, help="The text to write to the file")    create = create_blob(the_text=input_text)    read = read_blob(the_blob=create.outputs.the_blob)    output_text = Output(read.outputs.the_text, sdk_type=Types.String, help="The text read from the file")此工作流部署成功,當我運行它時,會發生以下情況:該create任務成功運行,并說明其輸出:the_blob:  type:    single  uri:    /4u/fe0c7c6326294497dac9-create-0/9c684e85918080341a14478b5f013ee6在任務之間傳遞 s 的正確方法是什么Types.Blob?我該如何進行這項工作?
查看完整描述

1 回答

?
www說

TA貢獻1775條經驗 獲得超8個贊

我假設您正在本地沙箱環境中運行它(您正在使用 minio,它是我們在沙箱環境中部署的測試 blob 存儲)。您能否分享您用于注冊工作流程的 Flytekit.config 文件。

因此,Flyte 根據您的配置方式自動將中間數據存儲在存儲桶 (S3 / GCS) 中。

前綴設置用于自動將數據上傳到配置的存儲桶和前綴 https://github.com/lyft/flytesnacks/blob/b980963e48eac4ab7e4a9a3e58b353ad523cee47/cookbook/sandbox.config#L7

v0.7.0 之前的版本 - 使用配置中的分片格式化程序設置 - https://github.com/lyft/flytesnacks/blob/b980963e48eac4ab7e4a9a3e58b353ad523cee47/cookbook/sandbox.config#L14-L17

另請告訴我們您正在運行的 Flyte 版本。請加入 Slack 頻道,我可以幫助您入門。抱歉給大家帶來的麻煩


查看完整回答
反對 回復 2023-12-20
  • 1 回答
  • 0 關注
  • 136 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號