math - 将捕获的坐标转换为屏幕坐标

Question

我认为这可能是一个简单的数学问题，但我不知道现在发生了什么。

我正在捕获网络摄像头上“标记”的位置，并且我有一个标记列表及其坐标。其中四个标记是工作表面的外角，第五个（绿色）标记是一个小部件。像这样：

以下是一些示例数据：

左上标记（a=98，b=86）
右上角标记 (c=119, d=416)
左下标记（e=583，f=80）
右下标记（g=569，h=409）
小部件标记 (x=452, y=318)

我想以某种方式将网络摄像头的小部件位置转换为要在屏幕上显示的坐标，其中左上角是 0,0 而不是 98,86，并且以某种方式考虑到网络摄像头捕获的扭曲角度。

我什至会从哪里开始？任何帮助表示赞赏

score 19 · Accepted Answer

为了计算翘曲，您需要计算输入矩形的四个角与屏幕之间的单应性。

由于您的网络摄像头多边形似乎具有任意形状，因此可以使用全透视单应性将其转换为矩形。它并不复杂，您可以使用称为奇异值分解或 SVD的数学函数（应该很容易获得）来解决它。

背景资料：

对于像这样的平面变换，您可以轻松地用单应性来描述它们，这是一个 3x3 矩阵H，这样如果网络摄像头多边形上或网络中的任何点x1乘以H，即H*x1，我们将在屏幕上得到一个点（矩形），即x2。

现在，请注意，这些点由它们的齐次坐标表示，这只不过是添加了第三个坐标（其原因超出了本文的范围）。所以，假设你的坐标X1是(100,100)，那么齐次表示将是一个列向量x1 = [100;100;1]（其中;表示一个新行）。

好的，所以现在我们有 8 个齐次向量，代表网络摄像头多边形上的 4 个点和屏幕的 4 个角——这就是我们计算单应性所需的全部内容。

计算单应性：

一点数学： 我不打算进入数学，但简而言之，这是我们解决它的方法：

我们知道 3x3H矩阵

H = 

h11 h12 h13
h21 h22 h23
h31 h32 h33

where hij represents the element in H at the ith row and the jth column

可用于获取新的屏幕坐标x2 = H*x1。此外，为了在屏幕坐标中得到它，结果将是这样x2 = [12;23;0.1]的，我们通过第三个元素或X2 = (120,230)which is对其进行规范化(12/0.1,23/0.1)。

因此，这意味着您的网络摄像头多边形（WP）中的每个点都可以乘以H（然后归一化）以获得您的屏幕坐标（SC），即

SC1 = H*WP1
SC2 = H*WP2
SC3 = H*WP3
SC4 = H*WP4
where SCi refers to the ith point in screen coordinates and 
      WPi means the same for the webcam polygon

计算 H：（快速无痛的解释）

伪代码：

for n = 1 to 4
{
    // WP_n refers to the 4th point in the webcam polygon 
    X = WP_n;

    // SC_n refers to the nth point in the screen coordinates
    // corresponding to the nth point in the webcam polygon

    // For example, WP_1 and SC_1 is the top-left point for the webcam
    // polygon and the screen coordinates respectively.

    x = SC_n(1); y = SC_n(2);

    // A is the matrix which we'll solve to get H
    // A(i,:) is the ith row of A

    // Here we're stacking 2 rows per point correspondence on A
    // X(i) is the ith element of the vector X (the webcam polygon coordinates, e.g. (120,230)
    A(2*n-1,:) = [0 0 0 -X(1) -X(2) -1 y*X(1) y*X(2) y];    
    A(2*n,:)   = [X(1) X(2) 1 0 0 0 -x*X(1) -x*X(2) -x];
}

一旦你有了 A，只需计算svd(A)哪个会将它分解为U,S,V ^T（使得A = USV ^T）。对应于最小奇异值的向量是H（一旦你把它重塑成一个 3x3 矩阵）。

使用H，您可以通过将其乘以H并归一化来检索小部件标记位置的“扭曲”坐标。

例子：

在您的特定示例中，如果我们假设您的屏幕尺寸为 800x600，

WP =

    98   119   583   569
    86   416    80   409
     1     1     1     1

SC =

     0   799     0   799
     0     0   599   599
     1     1     1     1

where each column corresponds to corresponding points.

然后我们得到：

H = 
   -0.0155   -1.2525  109.2306
   -0.6854    0.0436   63.4222
    0.0000    0.0001   -0.5692

同样，我不会进入数学，但如果我们标准化H，h33即在上面的示例中将每个元素H除以，-0.5692

H =
    0.0272    2.2004 -191.9061
    1.2042   -0.0766 -111.4258
   -0.0000   -0.0002    1.0000

这让我们对转型有了很多了解。

[-191.9061;-111.4258]定义点的平移（以像素为单位）
[0.0272 2.2004;1.2042 -0.0766]定义仿射变换（本质上是缩放和旋转）。
最后一个1.0000之所以如此，是因为我们按比例缩放H了
[-0.0000 -0.0002]表示网络摄像头多边形的投影变换。

此外，您可以检查我将每列与最后一个元素H相乘和规范化是否准确：SC = H*WP

SC = H*WP    

    0.0000 -413.6395         0 -411.8448
   -0.0000    0.0000 -332.7016 -308.7547
   -0.5580   -0.5177   -0.5554   -0.5155

将每一列除以它的最后一个元素（例如，在第 2 列-413.6395/-0.5177和0/-0.5177）：

SC
   -0.0000  799.0000         0  799.0000
    0.0000   -0.0000  599.0000  599.0000
    1.0000    1.0000    1.0000    1.0000

这是期望的结果。

小部件坐标：

现在，您的小部件坐标也可以转换H*[452;318;1]，其中（标准化后是(561.4161,440.9433).

所以，这是扭曲后的样子：

如您所见，绿色+代表变形后的小部件点。

笔记：

这篇文章中有一些很好的图片来解释单应性。
你可以在这里玩转换矩阵

MATLAB 代码：

WP =[
    98   119   583   569
    86   416    80   409
     1     1     1     1
     ];

SC =[
     0   799     0   799
     0     0   599   599
     1     1     1     1
     ];    

A = zeros(8,9);  

for i = 1 : 4     
    X = WP(:,i);    
    x = SC(1,i); y = SC(2,i);        
    A(2*i-1,:) = [0 0 0 -X(1) -X(2) -1 y*X(1) y*X(2) y];        
    A(2*i,:)   = [X(1) X(2) 1 0 0 0 -x*X(1) -x*X(2) -x];
end

[U S V] = svd(A);

H = transpose(reshape(V(:,end),[3 3]));
H = H/H(3,3);

一个

       0           0           0         -98         -86          -1           0           0           0
      98          86           1           0           0           0           0           0           0
       0           0           0        -119        -416          -1           0           0           0
     119         416           1           0           0           0      -95081     -332384        -799
       0           0           0        -583         -80          -1      349217       47920         599
     583          80           1           0           0           0           0           0           0
       0           0           0        -569        -409          -1      340831      244991         599
     569         409           1           0           0           0     -454631     -326791        -799

score 2 · Accepted Answer

由于透视效果，线性甚至双线性变换可能不够准确。看看正确的透视图和谷歌关于这个短语的更多信息，可能这就是你需要的......

score 0 · Accepted Answer

“Kabcsh 算法”正是这样做的：它在给定 N 个匹配的位置对的两个空间之间创建一个旋转矩阵。

http://en.wikipedia.org/wiki/Kabsch_algorithm

score 0 · Accepted Answer

尝试以下操作：用 2 条对角线分割原始矩形和该图形。它们的交叉点是 (k, l)。你有 4 个扭曲的三角形（ab-cd-kl、cd-ef-kl、ef-gh-kl、gh-ab-kl）并且点 xy 在其中之一。

（4 个三角形比 2 个好，因为失真不取决于选择的对角线）

您需要找到 XY 在哪个三角形点。为此，您只需要 2 次检查：

检查它是否在 ab-cd-ef 中。如果为真，请继续使用 ab-cd-ef，（在您的情况下不是，所以我们继续使用 cd-ef-gh）。
我们不检查 cd-ef-gh，但已经检查了一半：cd-gh-kl。重点就在那里。（否则它会是 ef-gh-kl）

这是一个很好的算法来检查一个点是否在多边形中，只使用它的点。

现在您只需要将点映射到原始三角形 cd-gh-kl。点 xy 是 3 个点的线性组合：

x = c * a1 + g * a2 + k * (1 - a1 - a2)
y = d * a1 + h * a2 + l * (1 - a1 - a2)
a1 + a2 <= 1

2 个变量 (a1, a2) 和 2 个方程。我想你可以自己推导出解决方案。

然后，您只需将 a1&a2 与原始矩形中相应点的坐标进行线性组合。在这种情况下，W（宽度）和 H（高度）是

X = width * a1 + width * a2 + width / 2 * (1 - a1 - a2)
Y = 0 * a1 + height * a2 + height / 2 * (1 - a1 - a2)

score 0 · Accepted Answer

由于您的输入区域不是与屏幕具有相同纵横比的矩形，因此您必须应用某种转换来进行映射。

我要做的是获取内部点相对于外侧的比例，并将其映射到屏幕的相同比例。

为此，请计算内部点上方、下方、左侧和右侧的可用空间量，并使用比率找出该点在屏幕中的位置。

替代文字 http://img230.imageshack.us/img230/5301/mapkg.png

完成测量后，将内点放置在：

x = left / (left + right)
y = above / (above + below)

这样，无论网络摄像头框架有多倾斜，您仍然可以映射到屏幕上的完整规则矩形。

score 0 · Accepted Answer

有关如何在 xcode 中的 Objective-C 中执行此操作的更多信息，与 jacobs 帖子相关，您可以在此处找到：使用 xcode 中 LAPACK 的 SVD 计算来自 Objective-C 中的 A = USVt 的 V

math - 将捕获的坐标转换为屏幕坐标

6 回答 6

MATLAB 代码：

一个

Related

Reference