python - Tensorflow：如何手动分片数据集

Question

我正在使用MirroredStrategy执行多 GPU 训练，但它似乎没有正确分片数据。您如何进行手动分片数据？

我知道我可以将该shard方法用于tf.data数据集，但为此我需要访问工作人员 ID，但我不知道如何获得它。如何访问工作人员 ID？

Answer 1

MirroredStrategy在单个工作人员上运行（对于多个工作人员，有MultiWorkerMirroredStrategy）。因为它只在一个工作人员上运行，所以MirroredStrategy运行一个Dataset管道而没有任何数据分片。在每一步，MirroredStrategy每个工作人员请求一个数据集元素。