问题标签 [correspondence]

我有一个带有两个摄像头的计算机视觉。其中一台相机是飞行时间相机。它给了我每个像素的场景深度。另一台相机是标准相机，可以为我提供场景的彩色图像。

我们想使用深度信息从彩色图像中删除一些区域。我们计划在彩色图像中进行物体、人物和手部跟踪，并希望借助飞行时间相机去除远处的背景像素。目前还不确定相机是否可以平行设置。

我们可以使用 OpenCv 或 Matlab 进行计算。

我读了很多关于校正、对极几何等的内容，但我仍然无法看到计算每个像素对应关系所必须采取的步骤。

你会使用什么方法，可以使用哪些功能。你会在哪些步骤中划分问题？是否有可用的教程或示例代码？

更新我们计划使用放置在场景中的已知标记进行自动校准

我有 2 张图片，一张是左图，另一张是右图。我想实现视差映射。我心中有些疑问。

Firstlty dispartiy image 是 1 通道灰度图像，但左右图像是 3 通道 bgr 图像。如果我们将这 3 个通道的图像转换为灰度图像，我会丢失信息吗？如果是，我怎样才能从 3 通道 img 到 1 通道视差图像获得视差图像。我的意思是如何将 3 通道图像降级为 1 通道图像以获得视差图像？

谢谢解答。。

我正在做一个项目，我想重建从相机图像中提取的特征点的 3D 位置。这个想法是：

• 进行相机录制（灰度信息，VGA 尺寸：640 x 480）
• 提取相机帧中的特征点（我为此使用 SIFT）
• 将 frame[k-1] 中的特征与 frame[k] 中的特征对应（我打算为此使用 RANSAC，稍后会详细介绍...）
• 计算/估计这些特征点之间的一些相对距离信息（这将在某些（x，y，z）坐标系中）

我在许多论文中读到 RANSAC 是一种用于重建的算法，最终结果是某种点云。我希望能够做到这一点。然而，我遇到了一些障碍，我希望你们能帮助我解决这些问题。

第一个障碍是我真的不明白如何使用 RANSAC 来执行这个点对应。我理解 RANSAC 作为模型拟合工具的概念，我只是不明白它如何用于进行对应求解。

第二个障碍是，假设我有我的通信信息，如何获得所有这些点之间的某种距离信息。我读过透视投影可以用来解决这个问题，反过来应该尝试估计基本矩阵。然后做一些数学魔术来获得点云​​。关键是，我不明白基本矩阵中的实际值是什么意思。我知道它给出了 2 个摄像机的位置（或者在我的情况下，摄像机正在移动的视频中的 2 帧）之间的数学关系，并且它利用了对极几何。但除此之外，我只是不知道基本矩阵实际上包含什么。这个 3x3 矩阵如何捕获 1 个摄像机相对于另一个摄像机的 6DOF？我也认为“数学魔法”

因此，我的问题是：你们中的任何人都可以指出我正确的方向吗？到目前为止，我一直在挖掘我读过的论文的参考资料，但这些也给了我“我们使用 RANSAC 算法解决这个问题”的意思，我越来越觉得我看错了方向。对这些事情是否有一些很好的解释，也许是外行的术语和/或一些插图？简而言之：我应该在哪里寻找或在哪里可以找到这条难以捉摸的信息？

提前致谢， Xilconic

PS：检查了维基百科，但这对我没有多大帮助。还听了《基础矩阵之歌》，也是同样的故事。

我正在寻找以下类型的算法：

在 2D 中有 n 个匹配的点对。如何根据仿射/赫尔默特变换识别异常点对并从变换键中省略它们？我们不知道这种离群对的确切数量。

我不能使用修剪最小二乘法，因为有一个基本假设，即 ak 百分比的对是正确的。但是我们没有关于样本的任何信息，也不知道 k……在这样的样本中，所有对都可能是正确的，反之亦然。

哪些类型的算法适合这个问题？

我正在尝试学习 OpenCV。我有一个关于单应性和对极几何的问题。

假设我使用 cvFindHomography() 函数计算了单应性，该函数使用两个静态图像的匹配特征点，使用两个相机从两个不同的视点拍摄。

如果我重用单应矩阵从camera2（left）拍摄的图像中检测camera 1（right）中的对应点是错误的吗（因为我知道左图的2d同质特征点在哪里，x' = H.x右图的2d对应同质特征在哪里？点并且是单应矩阵）其中camera1和camera2中的2d点不用于计算单应矩阵？x'xH

我要问的是我可以重用这两个相机的计算单应矩阵来找到任何不用于计算单应矩阵的图像的对应点吗？

当它曾经由固定图像确定时，我使用哪个图像是否重要？还是我每次都需要计算？

假设我有一个对象，我从一个角度的 kinect 获得了 RGB 数据和深度数据。然后我稍微移动了 kinect，这样我就可以从不同的角度拍摄第二张物体的照片。我试图找出最好的方法来确定 kinect 相机根据两个图像的对应关系从其原始位置平移和旋转了多少。

我将 OpenCV 用于某些图像处理任务，并且研究了 SURF 算法，该算法似乎从两个 2D 图像中找到了很好的对应关系。但是它没有考虑深度数据，而且我认为它对多张图片效果不佳。另外，我不知道如何从通信中获取翻译/旋转数据。也许我看错了方向？

注意：我的长期目标是“合并”多个图像以从所有数据中形成 3D 模型。目前，如果我指定 kinect 所在的角度，它有些工作，但我认为通过查找对应关系而不是手动指定参数来减少所涉及的“错误”（即点从它们应该在的位置略微偏移）要好得多

我正在使用以下内容执行 kmeans 分析：

我还绘制了 kmeans 分析，library(fpc)用于获得如下视觉效果：

结果如下：

每行mat2对应于图中的一个点。我给矩阵中的每一行起了一个名字，如下所示：

我可以通过以下属性找到矩阵中每一行的成员资格：

这给出了矩阵中每一行的名称，后跟图中相应的整数。但是，我想访问更多数据。

如何从这些聚类点访问更多数据？例如，我想找到图中的整数和矩阵中的行之间的对应关系。为了澄清，回答这个问题可以让我知道矩阵中的哪一行对应于图中最高的 2？一旦我知道哪些整数对应于矩阵中的哪些行，那么我就有了矩阵中每一行的名称，并且可以给出有意义的解释。

我还想找到图中某个点与其所属的集群中心之间的距离度量。我可以得到图中的（x，y）坐标与矩阵中的行之间的对应关系吗？我能否获得一个交互式 GUI，以便当我单击图中的一个聚类点时，我可以看到更多上述数据？我愿意使用不同的库进行绘图。总结为两个问题：

1. 如何获得图中的整数与矩阵中的行之间的对应关系？
2. 是否有现有的软件包或工具可以让我更轻松地完成这项工作？

非常感谢所有帮助！

如果我的问题令人困惑，我很抱歉，我对 excel 不太擅长，而我试图提出的公式让我头疼，所以让我试着澄清一下。

在“A1:A30”列中，我有一个日期（Sat01Jun2013-Sun30Jun2013）。

“B”是开始时间（00:00-23:29）。

“C1:C30”是结束时间（00:29-23:59）。

“D1:D30”是一个名称（ALPHA/BRAVO/CHARLIE/DELTA）。

在“E1:E30”列中，我有一个为该特定行设置的 IF 公式。

如果“D”等于 ALPHA，则公式将“C”减去“B”的差值四舍五入并将其转换为一个数字，其中 0.5 等于 30 分钟，如果不是，则为 0

=IF(D1="ALPHA";(ROUNDUP((C1-B1-INT(C1-B1))*24;1));0)

专门为每一行设置相同的公式

在“F”中，我有相同的公式，但使用 BRAVO 而不是 ALPHA。

“G”代表查理。

“H”代表 DELTA

在“I”中，我有 ALPHA/列“E”的总和

“J”代表 BRAVO

“K”代表查理

“L”代表 DELTA

现在我想这就是我要说的。我宁愿在“E”列中使用 (ROUNDUP((C#-B#-INT(C#-B#))*24;1)) 公式，在不同的列中添加一个公式，该公式将“E”中每个值的总和相加" 仅当相应行中的值等于“ALPHA”时。

如果我的问题不够清楚，或者我刚刚提供了太多不必要的信息，我想再次道歉。如果您花时间提供帮助，或者即使您尝试过但无法提供帮助，我也要提前感谢您。谢谢你。

我希望这还没有得到回答，但我还没有在任何地方找到这个。我的问题很简单：我正在尝试使用 scipy 计算图像的倾斜轮廓。一种很好的方法是：

1. 通过给出我的段的开头和结尾来定位我想要我的个人资料的段，
2. 提取包含该片段的最小图像，
3. 计算我的图像应该旋转的角度，以便沿着漂亮的原始图像获得所需的轮廓，
4. 提取说原料。

这就是理论。

我现在被困在 (4) 上，因为我的个人资料应该属于 raw number array.shape[0]/2，但旋转似乎有时会在左侧的数据和列下方添加零行。因此可以移动正确的原始数字......

有谁知道如何获得正确的原始数字，例如使用 scipy 使用的对应矩阵？

谢谢。

我正在尝试计算 2 个图像之间的对应关系，实际上我对对应点的数量感兴趣，而不是对应关系本身，这样我就可以起诉它以获得最佳匹配图像。这是我的以下代码：

我从link1和link2获得了我的代码。我所有的图像都是 320X240。我拍摄了一张测试图像，并尝试在图像数据库中一张一张地运行它。但每次我这样做时，我的匹配大小总是163。请注意，测试图像中的关键点也是163。我正在尝试为测试图像找到最佳匹配，但我不明白为什么会发生这种情况。所有与数据库匹配的对应关系都给出163的结果。

这些是我的问题和疑问，请帮助我。:-

1. 如果上面使用的方法错误，如何获得匹配数？

抱歉，如果问题非常基本，但非常感谢您的帮助。