1

我已成功设置分布式环境并使用Horovod运行示例。而且我也知道，如果我想在分布式设置中运行 TensorFlow 1 上的基准测试，例如 4 个节点，按照教程，提交应该是：

$ horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 \
    python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \
        --model resnet101 \
        --batch_size 64 \
        --variable_update horovod \
        --data_dir /path/to/imagenet/tfrecords \
        --data_name imagenet \
        --num_batches=2000

但现在我想运行 TensorFlow 2官方模型，例如 BERT 模型。我应该使用什么命令？

4

0 回答 0