问题标签 [dropout]

我正在试验 TensorFlow dropout 函数。由于在训练期间丢失率随时间降低的功能太复杂而无法实现（昨天尝试了一整天），我认为在每次迭代中使用随机丢失率也是一个好主意。

我尝试了以下行：

在训练期间使用 0.4 到 0.95 之间的随机丢失率。这没有解决，我收到以下错误：

我怎样才能解决这个问题？

是否可以在 Keras 中将 dropout 应用于 LSTM 网络的输入层？

如果这是我的模型：

目标是达到以下效果：

当我不在我的模型中使用 dropout 进行猫和狗分类时，预测值保持正常，即所有图像的值都不相同。

但是，当我将tf.nn.dropoutwithkeep_prob = 0.8用于我的模型时，它被推荐用于规范化模型并获得更好的准确性，它会不断预测像这样的相同值。我该如何解决这个问题？那里的每个教程或代码都使用tflearn，但这不会发生。

我想实现 dropout，即用 NA 随机替换元素并用 NA 值返回向量/列表。

想要的结果是减少过度拟合，因此可能有更好的便利功能。

方法一

其中 10 个值替换为 NA。

方法2.如何去除90%的人口？不工作，低于 90%：

由于可能的匹配（即选择相同的元素），这实际上不起作用。

是否有任何用于辍学的内置或便利功能？

我已经在 Keras 中为一些时间序列训练了以下模型：

然后我定义了一个新模型，其中包含经过训练的层，model_1并添加了具有不同速率的 dropout 层drp：

然后我得到这两个模型的预测结果如下：

我期望得到完全不同的结果，因为第二个模型具有新的 dropout 层，并且这两个模型不同（IMO），但事实并非如此。两者都产生相同的结果。为什么会这样？

当我将 dropout 添加到输入层时发生异常。

其他线程中提到了该异常，也与其他问题相关，最常见的建议解决方案是降级 Keras 版本。此异常是否有解决方法？

模型在加载权重文件时抛出以下异常：

所以我刚刚安装了 TensorBoard 并查看了我一直在研究的深度 LSTM，并在图表上看到了一些我没有预料到的东西。我有 5 个隐藏的 LSTM 层，每个层后面都有一个 dropout 层，它表明第一个 dropout 层直接连接到以下 4 个 dropout 层中的每一个：

LSTM 深度神经网络图：

这里到底发生了什么？我期待这一切都只是从上到下的一条简单的直线。这是我的结构在代码中的样子，我没有更改很多默认参数......

cnn 建模时出错。使用 dropout 时，会出现以下错误消息。

这是错误信息

模型

我想在 maxpooling 之后使用 dropout

这是平坦的区域

编译

模型拟合

通过使用 pyTorch，有两种方法可以退出 torch.nn.Dropout和torch.nn.functional.Dropout.

我很难看出使用它们之间的区别：

• 什么时候用什么？
  
• 这有什么不同吗？
  

当我切换它们时，我没有看到任何性能差异。

当我尝试向 keras 模型添加 dropout 时，它会导致 OOM 错误：tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[128,128,176,216] ...

该模型假设是产生超分辨率 x4 的自动编码器。

注释中的行导致OOM。

为什么 dropout 占用这么多内存？