我是 tfx 的新手,正在學習組裝管道。我已經在 GCP 上的 Kubeflow 中成功構建了一個管道。我想知道如何運行多個訓練器,這些訓練器將使用相同的 csvexamplegen、轉換和 schemagen 在管道中生成不同的輸出/推動器。有沒有人這樣做過?請提前告知并感謝。 def create_pipeline( pipeline_name: Text, pipeline_root: Text, data_path: Text, preprocessing_fn: Text, run_fn: Text, train_args: trainer_pb2.TrainArgs, eval_args: trainer_pb2.EvalArgs, eval_accuracy_threshold: float, serving_model_dir: Text, metadata_connection_config: Optional[ metadata_store_pb2.ConnectionConfig] = None) -> pipeline.Pipeline: trainer_args = { 'run_fn': run_fn, 'transformed_examples': transform.outputs['transformed_examples'], 'schema': schema_gen.outputs['schema'], 'transform_graph': transform.outputs['transform_graph'], 'train_args': train_args, 'eval_args': eval_args, 'custom_executor_spec': executor_spec.ExecutorClassSpec(trainer_executor.GenericExecutor)} trainer = Trainer(**trainer_args) components.append(trainer)return pipeline.Pipeline( pipeline_name=pipeline_name, pipeline_root=pipeline_root, components=components, enable_cache=True, metadata_connection_config=metadata_connection_config, beam_pipeline_args=beam_pipeline_args, )
1 回答

慕妹3146593
TA貢獻1820條經驗 獲得超9個贊
為了讓 Kubeflow 獲取的培訓師獨一無二,我必須輸入 instance_name 來定義培訓師。
trainer2 = Trainer(
run_fn=run_fn2,
examples=transform.outputs['transformed_examples'],
schema=schema_gen.outputs['schema'],
transform_graph= transform.outputs['transform_graph'],
train_args= train_args2,
eval_args= eval_args2,
custom_executor_spec= executor_spec.ExecutorClassSpec(trainer_executor.GenericExecutor),
instance_name='trainer2'
)
添加回答
舉報
0/150
提交
取消