问题标签 [mediapipe]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1207 浏览

python-3.x - 我正在尝试在我的 jetson nano 上构建媒体管道

因此,我尝试按照本指南为我的 jetson nano 构建一个 mediapipe whl 文件,我 https://github.com/jiuqiant/mediapipe_python_aarch64 成功地使用我的树莓派 4 构建它。顺便说一下,这个 github repo 还为 mediapipe 提供了一个 whl 文件,我可以安装它,但是模块面部检测被禁用(我需要的一件事)

所以在运行后 python3 setup.py gen_protos && python3 setup.py bdist_wheel 这是我得到的错误 这是我的 pip freeze 结果:python 3.6.9

0 投票
0 回答
116 浏览

google-colaboratory - 如何在 Colab 中使用 MediaPipe 获得可靠的视频帧的多手性?

我刚开始阅读 MediaPipe 并在 Google Colab 上尝试。我使用 iPhone 上的前置摄像头录制了一些动态 ASL 标志的视频。我提取了几帧并运行 MediaPipe 来识别多手性(左或右)并获取 21 个手标志的 x、y、z 坐标。有几次,当它真的是右手时,它会返回“左”作为标签。我也没有。我为 static_image_mode、max_num_hands 和 min_detection_confidence 尝试了不同的值,但结果差异很大。

0 投票
0 回答
272 浏览

ios - iOS Mediapipe 设置手部检测和跟踪置信度

媒体管道爱好者!

我不得不说,Mediapipe 拥有最好的视觉框架之一,可以检测身体姿势、面部表情、手部跟踪动作等特征。然而,媒体管道检测灵敏度非常高,尤其是在检测手时。很多时候,它会将我的脸或周围环境检测为手部特征。

根据此文档https://google.github.io/mediapipe/solutions/hands.html#min_detection_confidence,可以选择设置置信度。

我尝试将 HandTrackerViewController.mm 中的配置设置为 0.9,如下所示,但我看不出与默认配置 0.5 有显着差异。我做得对吗?

谢谢!

0 投票
0 回答
167 浏览

arcore - 如何获取媒体管道返回的每个人脸地标的模型视图矩阵?

我正在尝试为 mediapipe 返回的每个面部标志提取模型视图矩阵,就像我们可以在此处使用 ARCore 所做的那样,以便我可以在精确的标志处渲染 3D 对象。

使用mediapipe 的人脸几何示例,我可以提取人脸几何,并通过访问 VertexBufferList 中的相应索引来获得每个地标点的粗略估计平移:

然而,问题是当我尝试移动我的脸时,地标位置不正确。在 ARCore 中,我可以通过获取 centerPose 并像上面一样通过 x、y、z 平移来获得一个漂亮而精确的地标位置。所以我的问题是,有没有办法为媒体管道返回的每个地标点获取精确的模型视图矩阵?

0 投票
0 回答
21 浏览

profiling - 什么会导致计算器的状态直接从 READY_FOR_PROCESS 进展到 NOT_READY?

上下文
我有一个问题,我的媒体管道图无限期地等待 - 可能是因为一个或多个计算器正在等待永远不会到达的输入/时间更新。我试图通过查看跟踪文件来查找问题的原因。在正常操作中,我可以看到我的计算器的状态通常从 NOT_READY -> READY_FOR_PROCESS -> PROCESS -> NOT_READY 进行。当问题发生时,我看到许多计算器直接从 READY_FOR_PROCESS -> NOT_READY 更改状态。我不明白为什么跳过了 PROCESS 步骤。

问题
什么可以导致计算器的状态直接从 READY_FOR_PROCESS 进展到 NOT_READY?

0 投票
0 回答
94 浏览

tensorflow.js - Mediapipe Hand 和 Pose 模型能否用于检测本地视频而不是来自网络摄像头的摄像头流?

创建了这样的函数(桌面,JS):

视频在 VCanvas 上渲染的位置,它确实可以正常播放,但模型没有提供任何输出。

0 投票
1 回答
515 浏览

python - 我无法在 mac 上安装 python mediapipe 库

当我尝试使用 pip 在我的虚拟环境中安装 mediapipe 时,我在终端中运行它:

并得到这个错误:

我目前正在运行:Python 3.7.7,Mac OS 版本 10.14.6 上的 pip 21.0.1。

任何帮助,将不胜感激

0 投票
1 回答
99 浏览

python-module - 是否有仅 python 版本的媒体管道?

我目前正在使用 JeVois 相机。我之前为高性能姿势估计编写的代码,并且仅使用 cpu 使用 Mediapipe。但是,JeVois 对添加的库(如 mediapipe)不是很友好,因为它主要是 c++ 库。有谁知道是否存在依赖纯粹在 python 中的 mediapipe 版本?或者有人知道解决方法吗?

0 投票
1 回答
1412 浏览

arcore - MediaPipe vs MLKit Vision vs ARCore

这 3 个 Google 库之间似乎有很多重叠之处。

根据他们的网站:

  • 媒体管道:MediaPipe offers cross-platform, customizable ML solutions for live and streaming media.

  • 核心:With ARCore, build new augmented reality experiences that seamlessly blend the digital and physical worlds.

  • MLKit 愿景:Video and image analysis APIs to label images and detect barcodes, text, faces, and objects.

有使用这些经验的人能否解释它们之间的关系以及它们各自的用例是什么?

例如,哪些适合实现高级的、流行的功能,如面部过滤器?

(也许还有一些关于这 3 个中哪一个最有可能以最快的速度降落在 Google Graveyard 的见解)

0 投票
0 回答
55 浏览

python - 我的新 env 的 python 路径不运行代码,而 mu 主 python 路径正常运行它

当我在我的 Windows PC 上测试一些mediapipe函数和模块时,我注意到当我在我的主 python 路径上运行任何东西时它都很好,但是,如果我在新的 env 路径上运行它,一些函数不起作用这个错误 -->( FileNotFoundError:路径不存在。)出现'''

当我在我的 env 路径上对此进行评论时,我可以正常工作,但是如果我取消注释这两行 FileNotfoundError

#出现

将媒体管道导入为 mp mp_holistic = mp.solutions.holistic

整体 = mp_holistic.Holistic(min_detection_confidence=0.5,min_tracking_confidence=0.5)

打印(“any_thing”)打印(mp_holistic)

打印(整体)

''' 在此输入图片描述

在此处输入图像描述