问题标签 [yolo]

仍在学习 Tensorflow，我正在尝试更改 Darkflow 中某些代码中的损失函数

网络输出形状为 [49,3,2] 的给定张量。我想取张量最后一部分中的两个元素并用一些代码处理它们。然后我想返回数据。所以有点像一张可以与 Tensorflow 一起使用的地图。

更多上下文 -我要更改的文件的https://github.com/thtrieu/darkflow/blob/master/darkflow/net/yolo/train.py 。

所以不确定如何做到这一点，如果我对这个问题不够清楚，请询问更多信息。我仍然试图弄清楚我想做的事情。

例如

任何提示或建议都会很好，谢谢家伙：D

我有一个带有 open cv 的简单 python 脚本，它接收视频并使用 YOLO 对其进行对象检测。我的问题是，如何将输出显示为我的网站作为实时流。
这是 python 代码，保存到 output.avi。

我成功处理了一段视频并让算法检测到人脸，但我正在尝试实时检测人脸，从屏幕上捕获图像（例如在玩游戏时等）。这是我的代码的一部分用于处理捕获的视频：

如何更改此设置以实时从屏幕捕获图像？如果可能的话，请给我一些代码示例。

我想实现 Yolo v1，但我对算法有一些疑问。

我理解在 YOLO 中，我们将每个单元格 (7x7) 的图像划分为固定数量的边界框（论文中默认为 2 个，具有 4 个坐标：x、y、w、h），置信度分数我们还预测每个单元格的类别分数。在测试步骤中，我们可以使用 NMS 算法来去除对象的多次检测。

1）我们什么时候把图像分成网格？事实上，当我阅读他们提到划分图像的论文时，但当我查看网络架构时，似乎我们有两部分：卷积层和 FC 层。这是否意味着网络使用边界框输出“自然”地做到这一点？网格 7x7 的大小是否特定于卷积部分使用它？如果我们使用例如 VGG 会改变网格的大小吗？

编辑：由于我们网络的输出，网格似乎被“虚拟地”划分了。

2) 每个单元格使用 2 个边界框。但是在一个单元格中，我们只能预测一个对象。为什么我们使用两个边界框？

在训练时，我们只希望一个边界框预测器负责每个对象。我们分配一个预测器来“负责”预测一个对象，根据该预测与基本事实的当前 IOU 最高。这导致边界框预测器之间的专业化。每个预测器都能更好地预测某些尺寸、纵横比或对象类别，从而提高整体召回率。

3）我真的不明白这个报价。实际上，据说图像中的每个对象都有一个边界框。但是边界框仅限于单元格，那么当物体大于一个单元格时，YOLO 是如何工作的呢？

4）关于输出层，据说他们使用线性激活函数，但它是否使用等于1的最大值？因为他们说他们对 0 和 1 之间的坐标进行了归一化（我认为置信度和类别预测是一样的）。

我使用了来自https://docs.opencv.org/3.4.1/da/d9d/tutorial_dnn_yolo.html的 OpenCV 代码，并使用 yolov2 配置/权重让它在我的机器上工作。当我尝试使用 yolov3 config/weights 运行程序时（https://pjreddie.com/media/files/yolov3.weights，https://github.com/pjreddie/darknet/blob/master/cfg/yolov3.cfg . 两者都工作，当在 ubuntu / 不在 opencv 中使用时），它在线上失败

例外是：

xyz.exe 中 0xyz 处未处理的异常：Microsoft C++ 异常：内存位置 0xyz 处的 cv::Exception。

预期的行为是，它显示识别结果，就像它对 yolov2 cfg/weights 所做的那样。

yolov3 甚至可以在 opencv 中使用吗？

谢谢，米歇尔

更新：下面回答了问题。我在github中提出了一个问题：https ://github.com/opencv/opencv/issues/11310

更新 v2：opencv 现在支持 yolov3。-> https://github.com/opencv/opencv/issues/11310包含使用示例

这就是 YOLO 的架构。我正在尝试自己计算每一层的输出大小，但我无法获得论文中描述的大小。

例如，在第一个 Conv 层中，输入大小为 448x448，但它使用步长为 2 的 7x7 滤波器，但根据此等式W2=(W1−F+2P)/S+1 = (448 - 7 + 0) /2 + 1，我无法得到整数结果，因此过滤器大小似乎不适合输入大小。

那么任何人都可以解释这个问题吗？我是否遗漏了什么或误解了 YOLO 架构？

我已经通过这篇文章成功地训练了 yolo 来预测我自己的图像。在那里，我在我的 cfg 文件的第 224 行更改了 classes = 5（我训练了 5 个课程）和过滤器为 50。
我想要的是通过训练最后一个全连接层和 softmax 层来为 yolo 做迁移学习。
我的cfg文件如下。

我试图运行这个repo以使用 Darkflow 实现 YOLO，但我遇到了这个奇怪的错误（下面的堆栈）。我已经重新安装了 tensorflow 和其他软件包，例如 opencv，它们已经就位。互联网上关于它的信息也很少。高度赞赏有关此问题的任何想法。

我目前正在尝试将 Darknet YOLO ( https://pjreddie.com/darknet/yolo/ ) 计算机视觉包集成到 Unity 中，以便为一个研究项目调查在 Hololens 设备中实时对象检测的速度有多快. 到目前为止，我已经能够将YOLO包导出为DLL文件，并通过函数调用让Unity与之通信。这是我在 yolo_dll.cpp 文件中创建的编组函数，该文件是 YOLO 包的一部分。这些是我从 Unity 端调用的函数：

然后是我调用的与 c++ 端的签名匹配的编组 c# 函数：

我有一个 Unity 脚本，它使用 PhotoCapture 类使用我的计算机的网络摄像头拍照，一旦将图片保存在内存中，它就会调用外部 c++ detect() 函数从内存中检索最近拍摄的图片，检测对象它，并返回一个边界框数组，用于定位对象在图片中的位置。一旦返回了边界框数组，我现在只是在 Unity 控制台上调试所有它们的日志，并在信息输出到控制台后重复拍照并在其上使用 YOLO detect() 的过程. 我已经能够让 Unity 和 YOLO 成功地相互通信。但是，平均而言，从显示一个图像的边界框到下一个图像的时间需要 10 秒' s 边界框已显示在 Unity 调试控制台上。我需要 YOLO 包能够实时处理图像和输出反馈 (30-60fps)，它需要在 Hololens 上工作，而不仅仅是在 Unity 上工作。我尝试将其作为构建导出到 Hololens 中，当我尝试在 Hololens 中打开应用程序时，它根本无法打开。因此，我有一些问题：

• 我是否能够以某种方式将 Unity 的视频捕获功能集成到 YOLO 中，而不是不断地拍照并单独处理它们？这适用于 Hololens 吗？
• 在 YOLO 包中，我必须注释掉所有具有 #ifdef GPU 的部分，因为如果它们中的任何一个处于活动状态，它们只会在我按下“播放”时使 Unity 崩溃。我是否能够以某种方式使这些部分与 Unity 一起使用，它们会加快处理时间吗？
• 通过 DLL 从 YOLO 调用编组函数是否在图像分析周期之间的巨大滞后中起作用？有没有办法弥补这一点？
• 我使用外部 DLL 的事实是应用程序没有在 Hololens 内打开的原因吗？

如果能够将此包集成到 Hololens 中，我将非常感谢朝着正确方向迈出的任何一步，这样我就可以实现 YOLO 的实时对象检测功能！

我正在尝试从使用 Yolo v2 切换到 Yolo v3，但无法进行检测。我收到错误

有人知道我该如何解决这个问题吗？使用 Yolo v2 中的 cfg 文件可以正常工作。