3

我目前正在研究一种使用定量图像分析来查找塑料细丝直径的测量系统。下面是原始图像和处理后的二进制图像，使用 DipLib（PyDIP 变体）来执行此操作。 原始图像

阈值图像

问题

好吧，在我个人看来，这看起来很棒。下一个问题是我正在尝试计算二进制图像中灯丝的顶部边缘和底部边缘之间的距离。使用 OpenCV 非常简单，但是由于 DipLib 的 PyDIP 变体功能有限，我遇到了很多麻烦。

潜在解决方案

从逻辑上讲，我认为我可以只扫描像素列并查找像素从 0 变为 255 的第一行，反之亦然。然后我可以取这些值，以某种方式创建一条最佳拟合线，然后计算它们之间的距离。不幸的是，我正在努力解决这个问题的第一部分。我希望有经验的人可以帮助我。

背景故事

我正在使用 DipLib，因为 OpenCV 非常适合检测，但不适用于量化。我在这里看到了其他示例，例如使用测量功能从类似设置中获取直径的示例。

我的代码：

import diplib as dip
import math
import cv2


# import image as opencv object
img = cv2.imread('img.jpg') 

# convert the image to grayscale using opencv (1D tensor)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)


# convert image to diplib object
dip_img = dip.Image(img_gray)

# set pixel size
dip_img.SetPixelSize(dip.PixelSize(dip.PixelSize(0.042*dip.Units("mm"))))

# threshold the image
dip_img = dip.Gauss(dip_img)
dip_img = ~dip.Threshold(dip_img)[0]

给 Cris Luengo 的问题

首先，在这一行：

# binarize
mask = dip.Threshold(edges)[0] '

你怎么知道输出图像包含在索引 [0] 中，因为关于 PyDIP 的文档很少，我想知道如果我自己做的话，我可能会在哪里发现这一点。我可能只是没有找对地方。我意识到我这样做是在我的原始帖子中，但我肯定只是在一些示例代码中发现了这一点。

在这些行中的第二个：

normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2]  # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]

据我了解，您正在找到两条线的主轴，它们只是特征向量。我在这里的经验非常有限——我是一名本科工程专业的学生，​​所以我从抽象的意义上理解特征向量，但我仍在学习它们的用途。我不太明白的是，这条线msr[1]['GreyMajorAxes'])[0:2]只返回两个值，这只会定义一个点。如果它只是一个点，这如何定义与检测到的线垂直的线？第一个点引用为（0,0）还是图像的中心或其他什么？此外，如果您有任何相关资源可以阅读有关在图像处理中使用特征值的信息，我很想再深入一点。谢谢！

第三 正如您设置的那样，如果我理解正确，mask[0]包含顶线并mask[1]包含底线。因此，如果我想考虑灯丝的弯曲，我可以采用这两个矩阵并为每个正确的得到最佳拟合线？目前我只是稍微减少了我的捕获区域，主要是不需要担心任何弯曲，但这不是一个完美的解决方案 - 特别是如果灯丝下垂很多并且弯曲是不可避免的。让我知道你的想法，再次感谢你的时间。

4

2 回答 2

2

我认为测量灯丝两个边缘之间距离的最精确方法是：

  1. 使用高斯梯度幅度检测两个边缘，
  2. 确定两条边的重心，这将是每条边上的一个点，
  3. 确定两条边的角度，以及
  4. 使用三角函数求两条边之间的距离。

这假设两条边完全笔直且平行，但情况似乎并非如此。

使用 DIPlib 你可以这样做：

import diplib as dip
import numpy as np
import matplotlib.pyplot as pp

# load
img = dip.ImageRead('wDnU6.jpg') 
img = img(1)  # use green channel
img.SetPixelSize(0.042, "mm")

# find edges
edges = dip.GradientMagnitude(img)

# binarize
mask = dip.Threshold(edges)[0]
mask = dip.Dilation(mask, 9)  # we want the mask to include the "tails" of the Gaussian
mask = dip.AreaOpening(mask, filterSize=1000)  # remove small regions

# measure the two edges
mask = dip.Label(mask)
msr = dip.MeasurementTool.Measure(mask, edges, ['Gravity','GreyMajorAxes'])
# msr[n] is the measurements for object with ID n, if we have two objects, n can be 1 or 2.

# get distance between edges
center1 = np.array(msr[1]['Gravity'])
center2 = np.array(msr[2]['Gravity'])

normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2]  # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
normal = (normal1 + normal2) / 2  # we average the two normals, assuming the edges are parallel

distance = abs((center1 - center2) @ normal)
units = msr['Gravity'].Values()[0].units
print("Distance between lines:", distance, units)

这输出：

Distance between lines: 21.491425398007312 mm

您可以显示两条边：

mmpp = img.PixelSize()[0].magnitude
center1 = center1 / mmpp  # position in pixels
center2 = center2 / mmpp
L = 1000
v = L * np.array([normal[1], -normal[0]])
img.Show()
pt1 = center1 - v
pt2 = center1 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
pt1 = center2 - v
pt2 = center2 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])

另一种方法使用距离变换，它为每个对象像素分配到最近背景像素的距离。因为灯丝近似水平，所以很容易将每个图像列的最大值用作沿灯丝某一点的宽度的一半。这种测量有点嘈杂，因为它计算像素之间的距离，并使用二值化图像。但是我们可以平均每个图像列的宽度以获得更精确的测量值，尽管它可能存在偏差（估计值可能小于真实值）：

mask = dip.Threshold(img)[0]
dt = dip.EuclideanDistanceTransform(mask, border='object')
width = 2 * np.amax(dt, axis=0)
width = width[100:-100]  # close to the image edges the distance could be off
print("Distance between lines:", np.mean(width), img.PixelSize()[0].units)

这输出：

Distance between lines: 21.393684 mm

如果您怀疑灯丝的宽度不均匀，您还可以计算局部平均宽度：

width_smooth = dip.Gauss(width, 100)

然后，您可以绘制估计的宽度以查看您的估计值：

pp.plot(width)
pp.plot(width_smooth)
pp.show()

其他问题的答案

你怎么知道输出图像包含在索引 [0] 中，因为 PyDIP [...] 的文档很少

确实，文档太少了，我们当然可以在这方面使用一些帮助！大多数函数都是从 C++ 函数简单翻译过来的，因此 C++ 文档提供了合适的信息。但是有些函数，比如dip.Threshold()，与 C++ 有点不同；在这种情况下，输出在一个元组中提供阈值图像和选定的阈值。在 Python 中运行out = dip.Threshold(edges)然后检查out变量，您可以看到它是一个元组，其中一个图像作为第一个值，一个浮点数作为第二个值。您需要从C++ 文档中猜测这两个值的含义。源代码将是查找的最佳位置，但这根本不是用户友好的。

据我了解，您正在找到两条线的主轴，它们只是特征向量。[...] 我不太明白的是，这条线msr[1]['GreyMajorAxes'])[0:2]只返回两个值，这只会定义一个点。如果它只是一个点，这如何定义与检测到的线垂直的线？[...]

2D 中的向量由两个数字定义，向量从原点到这两个数字给出的点。msr[1]['GreyMajorAxes'])给出四个值（二维），前两个是惯性张量的最大特征向量，后两个是最小特征向量。在这种情况下，最大的特征向量对应于法线。

正如您设置的那样，如果我理解正确，则 mask[0] 包含顶线，而 mask[1] 包含底线。

不，mask是带标签的图像，其中值为 0 的像素是背景，值为 1 的像素是第一个对象（在本例中为边缘），值为 2 的像素是第二个对象。所以mask==1将给出一个二值图像，其中选择了第一个边缘的像素。但mask不是一条细线，它相当宽。这个想法是覆盖高斯轮廓的整个宽度edge，这是图像的梯度幅度。我上面所做的计算都是基于这个高斯轮廓，提供比处理二值图像或单个像素集更精确的结果。

因此，如果我想考虑灯丝的弯曲，我可以采用这两个矩阵并为每个正确的得到最佳拟合线？

edge您可以做的一件事是在像素内找到 中每列的最大值的子像素位置mask==1（例如，通过将高斯拟合到每列中的值）。这将为您提供一组可以拟合曲线的点。这将涉及更多的代码，但我认为并不难。

于 2022-01-03T08:17:17.277 回答
1

这是您如何使用该np.diff()方法查找像素从 0 变为 255 的第一行的索引，反之亦然的底部边缘（cv2只有在图像中读取并对其进行阈值处理，您有已经使用diplib)完成：

import cv2
import numpy as np

img = cv2.imread("img.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)

x1, x2 = 0, img.shape[1] - 1
diff1, diff2 = np.diff(thresh[:, [x1, x2]].T, 1)
y1_1, y2_1 = np.where(diff1)[0][:2]
y1_2, y2_2 = np.where(diff2)[0][:2]

cv2.line(img, (x1, y1_1), (x2, y1_2), 0, 10)
cv2.line(img, (x1, y2_1), (x2, y2_2), 0, 10)

cv2.imshow("Image", img)
cv2.waitKey(0)

输出：

在此处输入图像描述

注意上面定义的变量y1_1，y1_2，y2_1， 和y2_2。使用它们，您可以获得灯丝两端的直径：

print(y1_2 - y1_1)
print(y2_2 - y2_1)

输出：

100
105
于 2022-01-02T22:56:55.977 回答