machine-learning - 检测视频中是否存在摄像机运动以及手术视频中的移动物体

Question

我试图区分手术视频中的相机运动和工具运动。我已经尝试使用 opencv farneback 进行光流，并将结果传递给 ML 模型进行学习，但没有成功。一个主要问题是在相机运动的情况下获得良好的关键点。是否有替代技术来区分相机运动和工具/组织运动？注意：摄像机运动仅发生在 10% 的视频中

Answer 1

我希望我可以添加评论（太新而无法评论），因为我没有给你一个好的答案。

我认为这真的取决于输入图像的性质。你能在这里展示一些典型的输入图像吗？

你的光流结果是什么样的？我想你可能会得到一些合理的结果。

您是否尝试过一些运动估计方法，分析不同帧之间是否存在全局运动，或者只有一些局部运动？