问题标签 [deep-residual-networks]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1661 浏览

machine-learning - 为什么我的神经网络永远不会过拟合?

我正在用游戏数据训练一个具有 10 个隐藏层的深度残差网络。

有谁知道为什么我在这里没有过度拟合?经过 100 次训练后,训练和测试损失仍在减少。

https://imgur.com/Tf3DIZL

0 投票
1 回答
4705 浏览

python - 如何在 Keras 中的卷积层之间添加跳跃连接

我想在 keras 的剩余块之间添加一个跳过连接。这是我当前的实现,它不起作用,因为张量具有不同的形状。

该函数如下所示:

我得到的错误是:ValueError: Operands could not be broadcast together with shapes (None, None, 32) (None, None, 3)

我的问题是如何将这些张量添加或合并成正确的形状(无、无、32)。如果这不是正确的方法,你怎么能达到预期的结果?

编辑:

这是 res_block 的样子:

0 投票
1 回答
183 浏览

conv-neural-network - 关于实现 Wide Resnet 架构

当我致力于实现宽 resnet 架构时,我有一个关于根据论文宽 resnet计算 N 的主要问题:

在此处输入图像描述

在他们的实现中,我发现 N 计算为:

但我不明白为什么我们要从 n 中减去 4?

n是否反映了一般的层数,包括conv层,或者它只是conv层的数量?

0 投票
0 回答
46 浏览

matlab - 解释一个涉及二进制过滤器的matlab代码的含义

嗨,我有一个示例代码可以转换为 python。不幸的是,我对 Matlab 代码很陌生。你能帮我理解代码吗?我想用python写。任何线索将不胜感激。这里过滤器被认为是二进制的。这是一个神经网络代码。

0 投票
1 回答
272 浏览

python - 如何使用 Keras 构建一个从主类训练和预测子类的 resnet?

我想去实现一个分层的 resnet 架构。但是,我找不到任何解决方案。例如,我的数据结构是这样的:

  • A级
    • 子类 1
    • 子类 2
    • ……
  • B类
    • 子类 6
    • ...........

所以我想训练和预测主类,然后是选择/预测的主类的子类。有人可以提供一个简单的示例如何使用生成器执行此操作吗?

0 投票
1 回答
393 浏览

python - Pytorch 方法有条件地使用中间层而不是最终的 cnn 层输出。即:让nn学习使用更多或更少的层

我正在低延迟环境中实现残差 cnn(修改后的 xception 的较小版本)。我做了很多手动调整以最小化我的网络的运行时间速度(减少过滤器的数量,删除层等)。

但是现在我想尝试让我的网络在每个残差块之后的残差连接上进行分类预测(最终 fcnn 层)。

基本逻辑——

尝试以残差连接作为输入的最终预测

如果这个 fcnn 层以概率 > 设定阈值预测某个类:

别的:

基本例子

我希望这将使我的网络学会用更少的计算来解决更简单的问题,同时如果它仍然不确定分类,它仍然可以做额外的层。

所以我的基本问题是:在 pytorch 中,以允许我的 nn 在运行时决定是否进行更多处理的方式实现此条件的最佳方法是什么

目前我已经测试了在转发函数中的块之后返回中间 x,但我不知道如何最好地设置条件来选择返回哪个 x

另请注意:我相信我最终可能需要在残差和 fcnn 之间再添加一个 cnn 层,作为一个函数,将用于处理的内部表示转换为 fcnn 理解分类的表示。

0 投票
2 回答
937 浏览

neural-network - Inception-v1 与 Inception-Resnet-V1

就像标题所说的那样,两者之间有什么区别吗?我认为最初的 inception v1 模型没有 Res Blocks,但也许我错了。它们是一样的吗?

0 投票
1 回答
72 浏览

conv-neural-network - Resnets 中的深度残差网络

残差块的权重矩阵是否已经设置为 0,或者我们需要将残差块的权重矩阵训练为接近 0?在什么情况下我们通过残差块的权重矩阵进行反向传播?我们什么时候跳过通过它们的反向传播来采取替代路线?

0 投票
0 回答
117 浏览

deep-learning - 关于残差网络的计算复杂度

在训练残差网络时,残差层在残差块中训练这么多权重是不是增加了网络的计算复杂度?

0 投票
0 回答
2008 浏览

tensorflow - 通过调用自定义模块构建模型时获取tensorflow签名警告

我尝试通过在 Google Colab 中调用自定义模块来构建模型,但收到 autoGraph 警告。

文件夹结构:

代码:

层.py 代码

模型.py 代码

train.ipynb 代码

结果:

在 train.ipynb 的最后一行:

我收到以下警告:</p>

警告:tensorflow:AutoGraph 无法转换 > 并将按原样运行。请将此报告给 TensorFlow 团队。提交错误时,将详细程度设置为 10(在 Linux 上export AUTOGRAPH_VERBOSITY=10)并附上完整的输出。原因:找不到>的源代码。请注意,在某些环境中定义的函数(例如交互式 Python shell)不会公开其源代码。如果是这种情况,您应该在 .py 源文件中定义它们。如果您确定代码与图形兼容,请使用 @tf.autograph.do_not_convert 包装调用。原始错误:无法获取源代码警告:AutoGraph 无法转换 > 并将按原样运行。请将此报告给 TensorFlow 团队。提交错误时,将详细程度设置为 10(在 Linux 上,export AUTOGRAPH_VERBOSITY=10) 并附加完整的输出。原因:找不到>的源代码。请注意,在某些环境中定义的函数(例如交互式 Python shell)不会公开其源代码。如果是这种情况,您应该在 .py 源文件中定义它们。如果您确定代码与图形兼容,请使用 @tf.autograph.do_not_convert 包装调用。原始错误:无法获取源代码...

我试图添加以下代码,但它不起作用。colab中gast的版本已经是0.2.2了。

我还发现,如果删除以下代码,则不会出现警告。

模型仍然可以训练。我不知道我是否可以忽略警告。

有谁知道为什么会出现警告?