google-cloud-platform - 如何使用 Google Video Intelligence API 跟踪眼球运动？

Question

我有一个 3 人讲话的视频，我想在视频中注释人们眼睛的位置。我知道 Google Video Intelligence API 具有对象跟踪功能，但是可以使用 API 处理这样的眼球跟踪过程吗？

Answer 1

Google 提供了一个详细的（Python）示例，说明如何跟踪对象并随后打印出检测到的对象。您可以将其与AIStreamer实时对象跟踪功能结合使用，您可以将实时视频流上传到该功能以获取结果。

您可以遵循的一些想法/步骤：

1. 识别视频第一帧中的眼睛。
2. 在您正在跟踪的眼睛周围设置/突出显示一个框。
3. 在下一帧中将眼睛作为对象进行跟踪。

Answer 2

Google Video Intelligence API 代表人脸检测功能，它使您有机会从视频帧内执行人脸检测以及特殊的人脸属性。

通常，您需要在 JSON 请求正文中的方法、提供和参数中调整FaceDetectionConfig ：videos.annotate includeBoundingBoxesincludeAttributes

{
   "inputUri":"string",
   "inputContent":"string",
   "features":[
      "FACE_DETECTION"
   ],
   "videoContext":{
      "segments":[
         "object (VideoSegment)"
      ],
      "faceDetectionConfig":{
         "model":"string",
         "includeBoundingBoxes":"true",
         "includeAttributes":"true"
      }
   },
   "outputUri":"string",
   "locationId":"string"
}