问题标签 [mediapipe]

我想制作一个使用 Blazepose 模型（而不是 COCO 模型）的应用程序，它返回 33 个身体地标位置。它是由 Mediapipe 创建的。下载此 tflite 模型的链接是https://github.com/google/mediapipe/blob/master/mediapipe/modules/pose_detection/pose_detection.tflite。我想在颤振应用程序的实时摄像头上使用这个模型。任何建议将不胜感激。

我正在使用以下代码使用 mediapipe 检测手部地标

我只想要一个围绕检测器返回的所有点的矩形请告诉是否有任何方法可以在 mediapipe 中内置或使用 opencv

检查了文档，但没有找到任何关于图表选项的信息。我正在使用 C++ 顺便说一句。

就像在这个页面上一样https://google.github.io/mediapipe/solutions/holistic.html

根据该文件，它具有以下“配置选项”STATIC_IMAGE_MODE、UPPER_BODY_ONLY、SMOOTH_LANDMARKS、MIN_DETECTION_CONFIDENCE、MIN_TRACKING_CONFIDENCE

但我未能找到关于如何准确设置或修改它们的明确说明。我唯一发现的是关于即时修改它们的问题，有人说将 AddPacketToInputStream 与 A​​doptAsUniquePtr 创建的“数据包”一起使用，但没有更多细节。 https://github.com/google/mediapipe/issues/198

有人可以帮我指出用户指南和文档的正确位置吗？

如何将姿势估计模型的关键点作为 android studio 中的输入提供给 ARcore？这样我的 3d 模型就可以跟踪姿态估计的关键点。有没有办法做到这一点。请帮我。

通过 PyCharm 成功安装 Mediapipe，成功安装 OpenCV。但是，我收到此错误：

我安装了这个包： npm install @mediapipe/camera_utils

我想知道如何找到包裹的内容。

我希望有人可以帮助给我一些想法或指出一些进一步的阅读材料，以便与 Mediapipe 一起使用 Iris .aar 创建自定义 Android 应用程序。我翻阅了官方的 MediaPipe 文档，但发现它是一个有点有限，现在我正在努力取得进展。我一直在尝试为虹膜模型添加预期的边包并尝试实时提取特定的地标坐标。

我的目标是创建一个开源注视方向驱动的文本到语音键盘，以实现可访问性目的，它使用修改后的 MediaPipe Iris 解决方案来推断用户的注视方向以控制应用程序，我非常感谢对此的任何帮助。

这是我到目前为止的发展计划和进展：

1. 设置 Mediapipe 并从命令行构建示例DONE
2. 为人脸检测和虹膜跟踪生成 .aars完成
3. 设置 Android Studio 以构建 Mediapipe 应用完成
4. 使用 .aar DONE构建和测试人脸检测示例应用
5. 修改人脸检测示例以使用 Iris .aar IN PROGRESS
6. 输出虹膜和眼睛边缘之间的坐标以及之间的距离，以实时估计方向。或者修改图表和计算器以尽可能为我推断并重建 .aar
7. 将注视方向集成到应用程序中的控制方案中。
8. 实施初始控制后扩展应用程序功能。

到目前为止，我已经使用以下构建文件生成了 Iris .aar，我构建的 .aar 是否包含子图和主图的计算器，还是我需要在我的 AAR 构建文件中添加其他内容？

.aar 构建文件：

目前，我有一个使用以下资产和上述 Iris .aar 设置的 android studio 项目。

现在，我只是尝试按原样构建它，以便更好地理解该过程并验证我的构建环境是否设置正确。我已经成功构建并测试了文档中列出的正确运行的人脸检测示例，但是在修改项目以使用 iris .aar 时，它可以正确构建，但在运行时崩溃，除了： Side Packet "focal_length_pixel" is required但未提供。

我尝试根据媒体管道代表中的 Iris 示例将焦距的代码添加到 onCreate，但我不知道如何修改它以使用 Iris .aar，是否有任何进一步的文档可以阅读指出我正确的方向？

我需要将此片段（我认为）集成到面部检测示例的修改代码中，但不确定如何。谢谢你的帮助 ：）

我目前正在根据面部地标计算实际距离，例如，我有以下两个地标，我可以从中获取地标。

地标[6]: (0.36116672, 0.93204623, 0.0019629495)

地标[164]: (0.36148804, 0.99501055, -0.06169401)

我将如何根据上述信息计算实际尺寸？

任何帮助将不胜感激

我安装了 py 3.9 和最新版本的 PyPI(pip)。我使用以下方法安装了 mediapipe 3.8（最新）： pip install mediapipe 我安装了 OpenCV + VC 工具 + setuptools + pyinstaller 和所有其他需要的依赖项......我编写了一个简单的 python 脚本来检测手并通过网络摄像头控制电脑光标和它工作完美！

但是，当我尝试使用 pyinstaller 将其编译为 exe 时，它​​已损坏。（我发现问题是媒体管道的东西没有被转换为 dll 或类似的东西）......

有什么解决办法吗？

我正在尝试使用带有媒体管道的面部混搭的地标绳索的列表-例如：Landmark[6]: (0.36116672, 0.93204623, 0.0019629495)...

我找不到这样做的方法，并会提供帮助。（在蟒蛇中）