我正在遵循 Microsoft 的基本管道基础架构,分两步。
munge_data = PipelineData('munge_data', datastore=ds_pipeline)
output_data = PipelineData('output_data', datastore=ds_pipeline)
step1 = PythonScriptStep(
name="generate_data",
script_name="step1.py",
runconfig = aml_run_config,
arguments = ["--output_path", step1_output_data],
inputs = [step1_output_data.as_input],
outputs = [munge_data]
)
step2 = PythonScriptStep(
name="read_pipeline_data",
script_name="step2.py",
compute_target=compute,
runconfig = aml_run_config,
arguments = ["--pd", step1_output_data.as_input, "--output_dir", output_data],
inputs = [munge_data],
outputs = [output_data]
)
pipeline = Pipeline(workspace=ws, steps=[step1, step2])
但我希望能够在提交管道之前复制每个 PythonScriptStep 的输出并将它们上传到 Azure blob 存储。这可能吗?我一直在尝试各种步骤,但无法获得预期的结果。