问题标签 [keypoint]

背景

我有一个神经网络，可以输出姿势（脚、脚踝、膝盖、手臂、头部等）和连接的关键点——基本上我有一个骨架。我想使用这些关键点 /skeleton 作为另一个神经网络的输入 - 一个关系网络（https://arxiv.org/pdf/1706.01427.pdf）。目标是学习姿势和不同对象之间的关系。

问题

由于我正在处理关键点，因此我不确定将它们构造为输入的最佳方法是什么。我已经考虑将关键点转换为在每个 X/Y 位置处值为 0 的图像，除非它被值设置为 1 的骨架覆盖。但这似乎效率低下。有没有办法在不影响性能的情况下保留使用图像的结构优势（我可以使用卷积网络）？

我正在研究一个对身体部位（左脚、左膝盖、左臀部等）进行关键点预测的 Keras 神经网络。对于每个图像 (X)，目标 (Y) 是关键点的坐标列表（left_foot_x、left_foot_y、left_knee_x、left_knee_y）等）。只要关键点不可见，X 和 Y 坐标就等于 = 0。

我怀疑将数据留在这种状态会导致不好的结果，因为 0 确实意味着 NA（即关键点不可见）。将 X 和 Y 坐标保留为 0 表明关键点实际上在拐角处，这是错误的。当正确的输出有时是 NA 时，构造数据以进行多目标回归的正确方法是什么？

我正在建立一个模型来检测身体部位的关键点。为此，我使用了 COCO 数据集（http://cocodataset.org/#download）。我试图理解为什么我会遇到过度拟合问题（训练损失收敛，但我很早就达到了测试损失的上限）。在模型中，我尝试添加 dropout 层（逐渐添加更多具有更高概率的层，但我很快就达到了训练损失停止减少的程度，这同样糟糕。我的理论是我使用的模型不是足够复杂，但我想知道这是可能的原因还是其他原因。我在网上找到的模型都非常深（30+层）。

数据

我正在使用 10,000 个 RGB 图像，每个图像中都有一个人。它们每个都有不同的尺寸，但最大长度和宽度为 640。作为预处理步骤，我通过用 (0,0,0) 或黑色填充任何额外区域（图像的底部和右侧）使每个图像的大小为 640x640。

目标

完整的数据集有很多关键点，但我只对右肩、右肘和右手腕感兴趣。每个身体部位都有 2 个关键点（X 坐标和 Y 坐标），所以我的目标是长度为 6 的列表。

模型

我一直在研究使用IIIT-CFW 数据集从给定漫画中识别人脸的问题

到目前为止，我已经尝试使用 Python 的dlib库来检测卡通面孔中的地标点。但是，它似乎不适用于真人以外的面部。

有没有其他选择？任何有关面部对齐和地标检测的建议将不胜感激。

我正在为 iOS 应用程序做这个项目。对于这个项目，我使用的是 OpenCV。具体来说，我添加了 OpenCV_contrib 模块来获取人脸界标信息。

在应用 OpenCV_contrib 期间，我遇到了一个问题。facemark->loadModel("加载模型"); 为了检测面部标记，我必须找到模型文件。

我想知道如何找到 "facemark->loadModel("load model"); 的模型文件

我正在尝试使用 OpenCV_Contrib 检测人脸的地标。然而，检测人脸地标存在一些问题。

我收到了一个需要使用“ https://github.com/opencv/opencv_3rdparty/blob/8afa57abc8229d611c4937165d20e2a2d9fc5a12/face_landmark_model.dat ”的答案。

它有效，但它检测到错误的面部标志。 在此处输入图像描述

为了使它完美，我必须找到 facemark->loadmodel("loadmodel") *68 points of face 需要什么模型

如何调用 FacemarkKazemi->loadModel();

请解决我的好奇心。

我正在尝试通过 python 使用 opencv 在火车图像中查找多个对象，并将其与从查询图像中检测到的关键点进行匹配。对于我的情况，我试图在下面提供的图像中检测网球场。我查看了在线教程，只发现它只能检测到 1 个对象。我想为它插入一个循环来查找多个对象，但我没有这样做。关于如何做的任何想法？*我使用了 SIFT，因为 ORB 对我的情况不太适用

这是代码和一组示例图像。

训练图像

查询图片

提前致谢！

我是使用 NumPy 的新手，我对 Python 的了解有限，而且对处理图像也很陌生。我不明白该怎么做。

我需要知道如何在 Python 中对嵌套的 for 循环进行矢量化，其中第二个循环依赖于第一个循环。

例子：

让我给出上下文和一段代码，以便更容易解释我在寻找什么。

我找到了骨架化图像的端点（只有一个相邻像素的像素）和连接点（具有三个或更多相邻像素的像素），在这个代码片段中，代码试图找到连接点之间的任何连接点或连接点和端点之间。

point是一个列表变量，存储所有以前访问过的像素坐标

e2()返回点的所有相邻像素，a以便可以遍历每个分支以查找端点或交汇点

e1()[0]如果一个像素已经被访问过，则返回 else 返回x[1,x,y]和 y 是它前面的像素

junc_points是一个存储所有连接点的列表

end_junc_points是一个存储所有连接点和端点的列表

lenej是长度end_junc_points

lenj是长度junc_points

point_junc存储由返回的像素坐标e2()

adj是邻接矩阵

我需要这个的原因是因为我试图从骨架化图像中的端点和连接点制作一个关键点图。adj存储该图

我用 Python 以非常基本的方式编写了代码。正如你所理解的，这既不高效也不慢，这就是我需要矢量化的原因。除了矢量化，请指出任何用于处理骨架化图像的函数或库，这将有助于我优化我的代码。

我很欣赏我的代码看起来很模糊，我试图尽可能多地解释一切。我没有提供完整代码的原因是因为代码的其他部分具有相同的东西，我希望能够自己完成它们，这就是为什么我只为一部分寻求帮助，作为理解如何对其进行矢量化可能也有助于我完成其余的工作。

编辑：添加输入输出。

对于这张图片

这是形成的骨架图像

在运行一段代码时，我找出了端点和连接点，在这种情况下

没有端点，自然，这些连接点和端点继续作为这段代码的输入，它应该形成一个邻接矩阵将其转换为图形。为该图像形成的图（由邻接矩阵表示）是：

我希望这可以消除对输入和输出的疑虑

我使用带有 Open_CV 库的 feature2D 进行掌纹识别，并使用 SIFT、SURF、ORB 等算法来检测特征和提取/匹配描述符。我的测试包括（1 对 1）掌纹和掌纹（1 对数据库）。

我得到了结果，我需要评估算法，为此我知道有一些比率或分数（如 EER、rank-1 识别、召回和准确性），可以估计这种方法成功的程度。现在我需要知道这些费率是否在 Open_CV 中实现，以及如何使用它们。如果不是，文学中使用的不同公式是什么。

我正在尝试使用图像关键点和描述符作为 json 对象发送服务器请求...这是我的代码..

但它给了我以下错误............

任何人都可以为此提供解决方案吗？