问题标签 [multiple-gpu]

例如，RNN 是一个动态 3 层双向 LSTM，隐藏向量大小为 200 ( tf.nn.bidirectional_dynamic_rnn)，我有 4 个 GPU 来训练模型。我看到一篇文章在批次中使用data parallelism样本子集，但这并没有加快训练过程。

我正在尝试为回归问题编写张量流代码。我已经编写了代码，它在单个 gpu 上运行时可以完美运行。但是，我想测试 2 gpus 的速度有多快。我已经使用 tf.device 修改了 2 gpus 的代码。但我不确定如何编码 cpu 上的损失并根据它更新权重？我什至写对了吗？另一个问题是批量大小，如何修改 2 gpus 的批量大小？

更新： 感谢您的回复。它仍然只使用一个 gpu。如果在 sess 中有什么需要改变的，你能指导我吗？我的意思是不是所有gpus的成本都需要发送到cpu来更新权重和偏差吗？

+-------------------------------------------------- ----------------------------

参考多 GPU 的cifar10演示，我尝试为 MNIST CNN 分类器编写多 GPU（多塔式）代码。但是，它给了我非常低的准确性，并且速度也没有提高。（对我来说必须在多个 GPU 上执行此操作）。

感谢任何帮助找到低准确性的根本原因。下面是来自张量板的代码和快照。提前致谢。

张量板 GRAH

最近，我尝试通过阅读官方教程来学习如何在多个 GPU 上使用 Tensorflow。但是，有些事情让我感到困惑。以下代码是官方教程的一部分，用于计算单 GPU 上的损失。

训练过程如下。

但是，我对关于“for i in xrange(FLAGS.num_gpus)”的 for 循环感到困惑。看来我必须从 batch_queue 获取一个新的批处理图像并计算每个梯度。我认为这个过程是序列化的而不是并行的。如果我自己的理解有什么问题？顺便说一句，我也可以使用迭代器将图像提供给我的模型而不是出队，对吗？

谢谢大家！

我在 Tensorflow 2.0 中使用 Keras API 训练了一个包含 RNN 的文本分类模型。tf.distribute.MirroredStrategy()我使用from here在多个 GPU (2) 上训练了这个模型。tf.keras.callbacks.ModelCheckpoint('file_name.h5')我在每个 epoch 之后保存了模型的检查点。现在，我想从上次保存的检查点开始使用相同数量的 GPU 继续训练。tf.distribute.MirroredStrategy()像这样加载检查点后-

，它会引发以下错误。

现在我不确定问题出在哪里。此外，如果我不使用这种镜像策略来使用多个 GPU，那么训练会从头开始，但经过几个步骤后，它会达到与保存模型之前相同的准确度和损失值。虽然不确定这种行为是否正常。

谢谢你！瑞沙布·萨拉瓦特

我想开发一个分辨率为 256x256 的 DCGAN。为此，我需要使用多个 GPU，因为只有一个是不够的，而且可能会花费太多时间。

我按照此链接 https://www.tensorflow.org/beta/guide/distribute_strategy的文档中说明的程序进行操作

在我使用的脚本的顶部

strategy = tf.distribute.MirroredStrategy()

然后在我使用的生成器、鉴别器和损失函数中

with strategy.scope():

我得到的错误是：

RuntimeError: Replica-local variables may only be assigned in a replica context.

错误如下

我正在尝试使用 2 个 GPU，tensorflow 无法识别第二个。第二个 GPU 工作正常（在寡妇环境中）

所以基本上TF不识别GPU1，它同时一个GPU（GPU 0）有没有手动定义GPU1的命令？

卸载并重新安装，Cudann，python 3.7，tensorflow 和 keras（GPU 版本）。我在 Windows 10 上使用 anaconda。试图将 CUDA_VISIBLE_DEVICES 更改为 0、1。我没有看到任何错误，但第二个 GPU 没有出现在 python 的任何地方。

主 GPU 是 RTX2070 (8GB)，第二个 GPU 是 GTX1050 (2GB)。在我提交之前，我花了一些时间寻找解决方案，并尽我所能在互联网上找到。驱动程序是最新的，安装了 64 位版本和最新版本的软件。除了没有出现第二个 GPU 之外，我没有看到任何问题。

这些代码在第一个 GPU 上运行良好，两者都具有 > 3.5 的计算能力。

我有一个冷冻模型和 4 个 gpus。我想尽可能快地对尽可能多的数据进行推理。我基本上想在同一模型对 4 个批次执行推理的情况下执行数据并行性：每个 gpu 一个批次。

这就是我大致想做的事情

但是，当我跑步时

/gpu:0使用 nvidia-smi 检查时，一切都在运行。

但是，我可以运行

并且第二个 gpu 上有活动...

如何正确实现此数据并行任务？

我在具有 2 个 GPU 的 AWS 实例 g3.8xlarge 上运行 LSTM 模型，并且使用tf.distribute.MirroredStrategy()它以便我可以使用 2 个 GPU。但是，训练时间实际上比不使用它要慢。有谁知道如何解决这个问题？

我在用：

• Ubuntu 16.04
• NVIDIA-SMI 440.33.01
• CUDA 版本 10.1.105
• 库顿 7.6.5
• 张量流-GPU 2.1.0

我的代码是：

我正在使用四个显示器并启用外部和内部 GPU（启用 IGFX）。其中三个连接到外部GPU，另一个连接到主板。在图形控制面板中，我看到每个显示器都分配给特定的 GPU。事实上，之前的 QnA 表示CPU 和 GPU 都对显示的像素的渲染过程做出了贡献。但是，我使用两个 GPU，有时我会在多个显示器之间放置一个窗口。在这种情况下，我想知道哪个 GPU 或 CPU 实际上在哪个绘图区域上工作，包括显示区域之外的窗口隐藏部分。

我知道 Windows 10 中的基本窗口类使用 GDI+，一些应用程序或游戏使用 DirectX 或 OpenGL 库。它们在渲染单位方面有区别吗？据我朋友说，渲染的参考点是左上角点（我不确定，但我想知道真相）。

下图显示了我的配置

显示器 #1、#2、#3：连接到外部 GPU (NVIDIA GTX 1060)

显示器 #4：连接到主板图形端口（Intel i7-8700 的内部 GPU）

以下示例显示了窗口（红色矩形）位置的几种可能性。在每种情况下，我都想知道哪个处理器计算哪个分区。

情况1：

这种情况很明显，CPU 和外部 GPU（GTX 1060）适用于整个窗口区域。

案例二：

案例3：

案例4：

案例5：