5

大纲

我正在尝试通过基于与图像相关联的一些“质心”数据（每个时间步的峰值）生成多项式来扭曲图像（时间序列中的光谱峰值，但这并不重要）和增加多项式。这些原始多项式和增强多项式分别构成了我的“源”和“目标”点，我试图使用 skimage.transform.warp() 来扭曲图像。

这种扭曲的目标是产生两个扭曲的图像（即重复该过程两次）。然后，这些图像将彼此正相关，或者如果要水平翻转两个扭曲图像中的一个，则这些图像将彼此负相关（同样，这里并不重要）。

这是一个用于比较的示例输出： 简单的图像比较

（请注意，多项式增强是通过在每个多项式峰/谷处添加/减去噪声来执行的，与每个点的幅度（像素）成正比，然后通过这些增强点生成一个相同阶的新多项式，并在其中添加固定点防止增广多项式反转的地方）。

代码片段

我通过创建 GeometricTransform 并将其作为 inverse_map 应用到 warp() 在代码中实现了这一点，如下所示：

from skimage import transform

# Create the transformation object using the source and destination (N, 2) arrays in reverse order
# (as there is no explicit way to do an inverse polynomial transformation).
t = transform.estimate_transform('polynomial', src=destination, dst=source, order=4)  # order = num_poly_degrees - 1

# Warp the original image using the transformation object
warped_image = transform.warp(image, t, order=0, mode='constant', cval=float('nan'))

问题

由此产生的扭曲有两个主要问题：

  1. 由于图像扭曲，会留下空白。我知道这可以通过将模式transform.warp()从 from更改为'constant'来解决'reflect'，例如。但是，这会重复现有数据，这与我的下一个问题有关......
  2. 假设我已经正确实现了扭曲，它似乎已经将在时间步 60 看到的“之字形”特征提高到了 ~50（红色圆圈）。我的变形目标是水平变形图像，使每个特征保持在其自己的时间步长内（可能给予或接受非常小的数量），但它们的“像素”位置（x 轴）被增强。这也是为什么我不确定在 中使用'reflect'或其他模式的原因transform.warp()，因为这会人为地添加更多数据，这会在我的管道后期导致问题，我比较成对的扭曲图像以查看它们是如何相关的（回到我的第二段在大纲中）。

我的尝试

我曾尝试使用 RANSAC，正如在这个问题中使用的那样，它也使用多项式变换：Robustly estimate Polynomial geometry transformation with scikit-image and RANSAC in order to improve the warping。我曾希望这种方法只会留下较小的空白，然后我会满意地切换到 内的另一种模式transform.warp()，但是，这并不能解决我的任何一个问题，因为性能大致相同。

我还研究了使用分段仿射变换和 Delaunay 三角剖分（使用cv2）作为既保留正确图像尺寸（不重复数据）又具有最小 y 分量翘曲的方法。结果确实解决了上述两个问题，但是翘曲效果几乎无法察觉，我不确定我是否应该通过添加更多三角形并尝试更多分离的源点和目标点继续沿着这条路走（尽管这种思路可能需要另一个邮政）。

概括

我想要一种使用多项式变换水平扭曲图像的方法（也欢迎任何其他关于变换方法的建议！），它尽最大努力在原始时间步内保留图像的特征。

感谢您的时间。

编辑

这是一个指向共享 google 驱动器目录的链接，其中包含运行此过程示例所需的 .py 文件和数据。

4

0 回答 0