azure-machine-learning-studio - Azure 机器学习 FileDataSet 图像 - 分片/拆分到节点

Question

如何在不同的火车节点中读取部分 Azure 文件数据集（包含 1000 个图像）。我想要一个覆盖所有图像的样本。

https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.data.file_dataset.filedataset?view=azure-ml-py

我正在寻找像 tensorflow.dataset.shard() 这样的选项。
谢谢。

Answer 1

您可以使用 FileDataset 作为输入的管道中的 ParallelRunStep。请参阅：https ://docs.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step和https://docs.microsoft.com/en-us/python/ api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml-py