问题标签 [tensorflow2.0]

我在一个计算资源共享的环境中工作，也就是说，我们有几台服务器机器，每台机器都配备了一些 Nvidia Titan X GPU。

对于中小型模型，Titan X 的 12 GB 通常足以让 2-3 人在同一个 GPU 上同时运行训练。如果模型足够小，以至于单个模型不能充分利用 GPU 的所有计算单元，那么与一个接一个地运行训练过程相比，这实际上会导致加速。即使在并发访问 GPU 确实会减慢个人训练时间的情况下，让多个用户同时在 GPU 上训练的灵活性仍然很好。

TensorFlow 的问题在于，默认情况下，它会在启动时分配全部可用的 GPU 内存。即使对于一个小型的两层神经网络，我看到所有 12 GB 的 GPU 内存都用完了。

有没有办法让 TensorFlow 只分配 4 GB 的 GPU 内存，如果知道这对于给定模型来说已经足够了吗？

如何在 GPU 上运行 tensorflow 基准测试工具？ https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tools/benchmark

我想完全洗牌我的整个数据集，但shuffle()需要提取一些样本，并且tf.Size()不适用于tf.data.Dataset.

我怎样才能正确洗牌？

我正在尝试从github修改代码：

我收到此错误：

我认为它来自这些代码行：

此外，我认为我需要急切执行的原因是因为在我的 with tf.session 块中：

使用 tf.Session() 作为 sess：

我得到错误：

RuntimeError: dataset.__iter__() is only supported when eager execution is enabled

因此，在决定更改迭代器或启用急切执行方面的指导会很棒。

非常感谢，乔希

在 pb 模型中，我有一个PRelu层。因为tflite没有PReluOP，所以我将其转换PRelu为Relu：

转换为tflite模型时，PRelu将替换为relu负 OP。但是在转换时，relu两个负运算之间的负运算运算被删除toco。转换后的模型如下所示：

任何问题？

我在 Keras 中训练神经网络时遇到问题。每个 epoch，loss 都会稳步下降，达到 1e-9 左右，然后在 epoch 中间的某个地方（可能是任何地方），loss 会上升到 5e-5，最终稳定在每个 epoch 相同的最终 loss。我相信这是由于我的数据集中的一些脏数据导致模型无法训练超过某个点，尽管我真的不确定。

为了检验我的假设，我想创建一个自定义的 Keras 回调对象，它将确定一个批次后损失是否有足够大的跳跃，并指出哪个批次导致了跳跃。问题是batch提供给的参数keras.callbacks.Callback.on_batch_end只是批号，实际上并不是该批中使用的训练示例。此外，logs传入的 dict 也只包含lossand acc。

这意味着我实际上无法确定哪些数据导致了损失的跳跃。有没有办法可以确定导致每个时期跳跃的确切训练示例？有什么方法可以在回调中访问它吗？

我在 google colab 中安装了 TensorFlow 版本 2：

!wget https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64 -O cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb !dpkg -i cuda-repo-ubuntu1604-10-0-local-10.0.130-410.48_1.0-1_amd64.deb !apt-key add /var/cuda-repo-10-0-local-10.0.130-410.48/7fa2af80.pub !apt-get update !apt-get install cuda !pip install tf-nightly-gpu-2.0-preview

但是当我尝试找到它显示的版本时

1.13.0-dev20190116

当我想使用 tf.enable_eager_execution() 和 NameError: name 'layers' is not defined 时我也有错误

当我想将 Keras 与 TensorFlow 2 一起使用时，我收到了这个错误：

AttributeError：模块“tensorflow”没有属性“get_default_graph”

我使用以下命令重新训练inception_resnet_v2模型。

现在我想更改命令来训练inception_v4. 我已经下载了这个模型的检查点，但我不知道什么是trainable_scopes或checkpoint_exclude_scopes重新训练这个模型的最后一层。

有人可以告诉我那些是什么。

Keras文档为权重正则化和偏差正则化引入了单独的类。这些可以是添加自定义正则化器的子类。Keras 文档中的一个示例：

其中 x 可以是内核权重或偏差权重。但是，我想使用包含层权重和层偏差的函数来规范我的层。有没有办法将这两者合并到一个函数中？

例如，我想作为正则化器：

谢谢，