c# - 具有亚像素精度的图像处理

Question

我正在编写一个控制工业机械的用户界面程序。

本机是用于电子生产行业的全自动在线丝印机。该机器的确切用途是将焊膏印刷到裸 PCB 上。该系统包括 2 个摄像头，它们形成了一个视觉系统，用于定位基准点并自动化机器所涉及的过程。我遇到的问题是我需要能够在从摄像头拍摄的图像中定位形状和对象，这是直截了当，但是 - 为了获得所需的精度，我需要能够以亚像素精度来做到这一点。

两个摄像头组成一个双视觉摄像头，一个摄像头将向上看模板，另一个摄像头向下看 PCB。双视觉相机位于可在 X 和 Y 方向移动的移动托架上。PCB 被夹在桌子上，可以在 X、Y 和 theta 方向移动。视觉系统用于检测 PCB 位置和模板位置之间的差异，然后调整工作台以将两者对齐。

编辑：

这是从现有 UI 程序中截取的部分屏幕截图：

模板图像是顶部图像，PCB 是底部图像，这里的图像是灰度图像 - 在我正在查看的新系统中，我正在使用颜色，但需要使用灰度。

注意：当您阅读本文时，您可能在想“为什么不直接使用现有 UI 中使用的任何内容？” 现有的 UI 是用 VB6 编写的，我想摆脱它，程序的视觉方面是由不再存在的第三方公司编写的 .ocx。

我玩了一点 AForge.NET，发现它真的很容易使用，我可以用它来定位各种不同的形状并找到它们的中心，这很棒，但它没有亚像素精度. 但是，我可以将此作为起点，然后将子像素算法应用于单个中心像素甚至整个形状。

编辑：

这是从我使用 AForge 编写的测试程序中获取的示例图像：

红色轮廓和十字准线是我作为视觉辅助/实验添加的。这是用我可能使用的相机拍摄的，它的分辨率为 1280 x 1024，但镜头不是我将使用的实际镜头，这就是图像略微“鱼眼”的原因。感兴趣的对象也会比这更好。

在实际系统中，镜头将在模板和 PCB 上看到 10mm x 8mm 的正方形，这意味着每个像素将代表 7.8125um^2，但是我可以一次以 1.25um 的增量移动 XYY 表，这基本上没用如果我不能用相机看到这些动作。我需要 1um（亚）像素精度。

有谁知道我可以用什么来做到这一点？我已经搜索了很长一段时间，但我似乎找到的只是有关以亚像素精度渲染图像的信息。

或者，更好的是，有谁知道我如何自己写一些东西来做到这一点？我什至不知道从哪里开始！

任何反馈将不胜感激。

Answer 1

新信息说明了很多...我认为您应该更关注粘贴应用的准确性，而不是托架位置的精度。我敢打赌，打印机的点尺寸和误差要大得多，然后 1 um，而且所需的精度取决于 PCB 的使用（接线和间隙宽度）。无论如何，我会这样做：

1. 线性化图像几何

   你需要去鱼眼图像。由于您的相机/光学设置将固定（尤其是焦点和到 PCB 的距离），您应该为每个 PCB 厚度制作棋盘网格的图像。然后创建将棋盘线性化为真实矩形的映射，以便在下一个过程之前丢弃偏差。

2. 标准化照明条件

   • 请参阅增强动态范围和标准化照明

3. 亚像素精度

   图像的每个像素都是其区域内所有东西的集成。因此，如果我们知道任何边界（背景/前景）的 2 种颜色 ( c0,c1)，那么我们就可以估计它们的子像素位置。让我们从轴对齐的矩形开始。我是这样看的：

   

   网格的每个正方形代表一个像素区域。c0是灰色，c1是绿色。在相机图像中，您得到的最终颜色是每个像素内所有颜色的组合：

   • c = s0*c0 + s1*c1

   wherec是最终像素颜色，并且s0,s1是对应于wherec0,c1范围内颜色的区域。现在我们要计算得到亚像素精度。因此，首先将边界上的像素位置检测为以下之一：<0,1>s0+s1=1.0s0,s1

   • 水平边缘
   • 垂直边缘
   • 角落

   这可以通过检查相邻像素来完成。c0,c1可以从具有饱和颜色的像素（所有邻居具有相同的颜色）中获得这些像素位于内部区域中。我会忽略角像素，因为它们的位置可以从最近的 H/V 边缘像素获得（不可能从上面的等式中同时获得 x,y 坐标）。所以现在对于每个 H，V 边缘只需求解系统：

   I.  c = s0*c0 + s1*c1
   II. s0 + s1 = 1.0;
   

   计算s0,s1垂直边缘的边缘位置是以下之一：

   x=x0 + pixel_size*s0 // if c0 is on the left
   x=x0 + pixel_size*s1 // if c1 is on the left
   

   水平边缘是这样的：

   y=y0 + pixel_size*s0 // if c0 is on the top
   y=y0 + pixel_size*s1 // if c1 is on the bottom
   

   哪里x0,y0是像素左上角的像素位置，坐标系是x+向右和y+向下。如果您有不同的设置，只需更改方程式...

   现在，如果您有非轴对齐的边缘，那么您需要计算斜率（一个轴需要多少像素才能在另一个轴上改变dy/dx。并相应地处理这些区域：

   

   所以唯一改变的是从计算s0,s1到实际边缘位置的转换。现在你需要计算左/右或上/下。如果您使用轴对齐示例中的方程式，那么您将获得像素中间的边缘位置。因此，您只需将其两侧的坡度移动到边缘坡度x +/- 0.5*dx/dy或边缘坡度的y +/- 0.5*dy/dx位置。dx,dy

   

   为了获得dx,dy沿着边缘搜索完全饱和的像素，如果找到，那么(dx,dy)是2个最近的像素之间的距离......

[笔记]

您可以在展位灰度和 RGB 上执行此操作。希望这个对你有帮助。