问题标签 [faster-rcnn]

我想建立自己的 Faster Rcnn 模型，我从https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3下载了一个示例

运行代码时出现错误，不知道为什么

我有大约 24000 张宽屏格式 1920x384 的图像，并希望通过将图像数据集中可用的六类对象训练到fast_rcnn_inception_resnet_v2_atrous_coco网络上进行迁移学习，该网络在我从 tensorflow模型 zoo下载的 COCO 数据集上进行了预训练。

我从这里使用了相应的配置文件，我改变了它（尽管我的训练和验证的路径*.tfrecords如下

开始训练工作正常

因此，您可以看到训练执行了 1162 步并以应有的方式保存了一个检查点（我假设因为 600 秒的密钥_save_checkpoints_secs已经结束。现在方面开始了，我不明白。而不是现在开始计算另外一千步直到下一个检查点，它立即为下一步保存一个检查点 1163

对于步骤 1164 和任何后续步骤，这类似地进行。问题是：为什么训练在执行第一个检查点之后每一步都开始保存检查点？

附加信息：我已经使用 ssd_resnet_50_fpn_coco 网络进行了培训，并且效果很好。

我正在尝试训练 Mask R-CNN 进行实例分割。哪里有一些可用的预训练模型。这些权重是针对整个神经网络还是仅针对编码器/骨干网（例如 resnet50）？还有使用 imagenet 或 coco 的初始化权重。对于后者，解码器中的所有权重都是随机的？

请我需要解决方案来纠正和运行掩码 rcnn 的此代码

我用 pytorch 编码，我想用resnet-18作为 Faster R-RCNN 的主干。当我打印resnet18的结构时，这是输出：

我的问题是，直到哪一层是特征提取器？AdaptiveAvgPool2d应该是 Faster R-CNN 主干的一部分吗？

在这个教程中，展示了如何用任意主干训练 Mask R-CNN，我想用 Faster R-CNN 做同样的事情，并用 resnet-18 训练 Faster R-CNN，但直到哪一层应该是一部分特征提取器让我感到困惑。

我知道如何使用 resnet+Feature Pyramid Network 作为主干，我的问题是关于 resent。

如何在检测后使用 Mask Rcnn 从预测的掩码中提取多边形的 x,y 坐标。我的对象检测实现是这样的

results = model.detect([image], verbose=1)

我可以使用以下代码获取 ROI、掩码、class_id、类名和置信度分数。但我需要获取预测掩码的每个多边形的 x、y 坐标值。

ax = get_ax(1) r = results[0] visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'], dataset.class_names, r['scores'], ax=ax)

我想测试我创建的模型。在测试时我注意到第一个和第二个代码的预测是不同的。两个代码都使用相同的冻结干涉图并使用相同的帧进行对象检测。如何更改第二个代码以获得与第一个代码相同的结果？

第二代码

我正在尝试使用 Google AI Platform 预测来使用 Mask RCNN 执行对象识别。在花了将近两周的时间后，我能够：

1. 了解如何在 Google Cloud 上进行培训
2. 将模型从 h5 转换为 AI 平台所需的 SavedModel 格式
3. 创建 AI 平台模型并在那里部署经过训练的模型。

现在，我正在尝试执行预测，它说我的输入大小超过了 1.5 MB，这是输入的最大大小。当我检查它时，将图像（大小为 65KB）转换为预测所需格式的代码使输入文件变为 57MB。

我不知道如何在成型时将 64 KB 的图像文件转换为 57 MB 的 json 文件。我想知道如何减少这种情况？不确定我是否做错了什么。

我尝试使用 gcloud local predict 执行本地预测，并且能够获得 57MB 文件的响应。所以，这意味着文件是正确的。

我尝试将图像的最大尺寸设置为 400X400，从而将文件大小从 57MB 减少到大约 7MB。这仍然很高。我不能继续减少它，因为它会导致信息丢失。

我一直在训练一个模型来识别图像上的字符。我目前正在做的是尝试通过使用 TensorFlow 对象检测存储库中预定义的 fast-rcnn 来识别相对较小的图像（700x50）中的字母。这些图像包含多达 13 个我想要识别的字母，以及一些不需要识别的背景中的较小符号和字母。

我已经在TensorFlow模型动物园的配置文件中训练了一些模型（使用python），训练结果（分类精度和损失）很好。但是，框预测/区域建议对我不起作用。在图像上使用模型时，它总是在第一个或第一个和第二个字符上找到。模型根本找不到其他字符。我已经尝试调整锚参数和其他东西，但这对我的问题并不重要。

我现在的问题是：如何在我的模型中输出由区域提议（RPN）预测的框/锚？我想知道我必须如何更改我的模型以了解正在发生的事情以及为什么甚至没有找到其他字母 - 更不用说正确分类了。但是为了找出答案，我必须知道 RPN 在做什么才能理解为什么我的模型只找到前两个字母，即使我已经尝试过改变很多选项，比如锚大小或最大预测......

如果有人对我如何在 TensorFlow fast-RCNN 模型中输出 RPN 的建议有神奇的答案，那么我可以从那里找出为什么它们没有进入最终结果，那就太好了。但对于如何从这里开始的提示，我同样很高兴——例如，我自己构建一个 RCNN，而不是使用 TensorFlow zoo 中的模型或其他任何东西。由于我将在几个月内进一步研究这个模型，因此任何关于如何更深入地创建更好模型的提示都值得赞赏。

提前致谢。

我正在对大小为 (256,256,3) 的文档图像训练 MaskRcnn，但无法获得良好的准确性。如果我增加图像大小，代码会抛出 GPU 内存海鸥错误。我应该增加训练图像吗？我还能做些什么来提高准确性。