0
  1. 我创建了一个由 4 个步骤组成的 Azure ml 管道。首先,两步是python脚本步骤,第三步是databricks步骤,第四步也是python脚本步骤。我正在创建管道数据并将其传递给所有后续步骤。

prepped_data_parameter = PipelineData('prepped_parameter', datastore=data_store)

第二个 python 步骤可以从管道数据中读取值,但它在 databricks 步骤中不起作用。2. 我还测试了将数据从一个数据块步骤传递到另一个数据块步骤,认为 dbfs 路径可能导致问题。在这里它也不起作用。

当我制作管道数据时,python 脚本步骤会产生这样的路径:

``` /mnt/batch/tasks/shared/LS_root/jobs/******/azureml/bb743894-f7d6-4125-***-bccaa854fb65/mounts/workspaceblobstore/azureml/******-742d-4144-a090-a8ac323fa498/prepped_parameter/ ```

Databricks 步骤产生这样的结果:

wasbs://azureml-blobstore-*******-983b-47b6-9c30-d544eb05f2c6@*************l001.blob.core.windows.net/azureml/*****-742d-4144-a090-a8ac323fa498/prepped_parameter/

我想知道如何有效地将管道数据从 python 传递到 databricks 步骤,反之亦然,而无需手动将数据存储到数据存储中并将其删除以获取中间管道数据。

4

0 回答 0