3

我的目标是为已安装模块内发生的迭代创建一个进度条。

为了在用户定义的函数中为迭代创建一个进度条，我将一个tqdm.notebook.tqdm_notebook对象作为可迭代对象传递：

import time
import numpy as np
from tqdm.notebook import tqdm

def iterate(over):
    for x in over: # creating progress bar for this
        print(x, end='')
        time.sleep(0.5)

xs = np.arange(5)
tqdm_xs = tqdm(xs) # creating tqdm.notebook.tqdm_notebook object

iterate(tqdm_xs) # progress bar, as expected
iterate(xs) # no progress bar

哪个有效：

在此处输入图像描述

但是，当我尝试对已安装模块内的 for 循环执行相同操作时，此操作会失败。在 Astropy 的 Photutils 模块中，有for label in labels一行（此处），我可以传递标签对象。

可重现的示例（主要基于此- 在安装 photutils: 后工作pip install photutils）：

import photutils.datasets as phdat
import photutils.segmentation as phsegm
import astropy.convolution as conv
import astropy.stats as stats

data = phdat.make_100gaussians_image()
threshold = phsegm.detect_threshold(data, nsigma=2.)
sigma = 1.5
kernel = conv.Gaussian2DKernel(sigma, x_size=3, y_size=3)
kernel.normalize()
segm = phsegm.detect_sources(data, threshold, npixels=5, kernel=kernel)

这有效：

segm_deblend = phsegm.deblend_sources(data, segm, npixels=5, kernel=kernel,
                                      nlevels=32, contrast=0.001, labels = segm.labels)

试图传递tqdm.notebook.tqdm_notebook对象来创建进度条：

tqdm_segm_labels = tqdm(segm.labels)
segm_deblend = phsegm.deblend_sources(data, segm, npixels=5, kernel=kernel,
                                    nlevels=32, contrast=0.001, labels = tqdm_segm_labels)

我得到一个AttributeError: 'int' object has no attribute '_comparable'. 完整追溯：

0%
0/92 [00:00<?, ?it/s]
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-8-d101466650ae> in <module>()
      1 tqdm_segm_labels = tqdm(segm.labels)
      2 segm_deblend = phsegm.deblend_sources(data, segm, npixels=5, kernel=kernel,
----> 3                                     nlevels=32, contrast=0.001, labels = tqdm_segm_labels)

4 frames
/usr/local/lib/python3.7/dist-packages/astropy/utils/decorators.py in wrapper(*args, **kwargs)
    534                     warnings.warn(message, warning_type, stacklevel=2)
    535 
--> 536             return function(*args, **kwargs)
    537 
    538         return wrapper

/usr/local/lib/python3.7/dist-packages/photutils/segmentation/deblend.py in deblend_sources(data, segment_img, npixels, kernel, labels, nlevels, contrast, mode, connectivity, relabel)
    112         labels = segment_img.labels
    113     labels = np.atleast_1d(labels)
--> 114     segment_img.check_labels(labels)
    115 
    116     if kernel is not None:

/usr/local/lib/python3.7/dist-packages/photutils/segmentation/core.py in check_labels(self, labels)
    355 
    356         # check for positive label numbers
--> 357         idx = np.where(labels <= 0)[0]
    358         if idx.size > 0:
    359             bad_labels.update(labels[idx])

/usr/local/lib/python3.7/dist-packages/tqdm/utils.py in __le__(self, other)
     70 
     71     def __le__(self, other):
---> 72         return (self < other) or (self == other)
     73 
     74     def __eq__(self, other):

/usr/local/lib/python3.7/dist-packages/tqdm/utils.py in __lt__(self, other)
     67     """Assumes child has self._comparable attr/@property"""
     68     def __lt__(self, other):
---> 69         return self._comparable < other._comparable
     70 
     71     def __le__(self, other):

AttributeError: 'int' object has no attribute '_comparable'

一种解决方法是修改 Photutils 并tqdm在其中使用（我在这个 fork上做过，它有效），但这似乎有点过头了，我希望有一种更简单的方法来做到这一点。

4

1 回答 1

1

当然通常没有办法直接修改一些不是你自己编写的现有代码（是否“安装”不是问题）。

如果您认为它确实具有一般用途或兴趣，您可以提出一个补丁来允许此函数采用，例如，在每个循环上调用一个回调函数。如果它通常是一个缓慢的函数，它可能会很有用（我确实注意到实现中的一些事情可以改变以加快它，但这是另一回事）。

您当然可以找到许多巧妙的技巧来使其在这个特定情况下工作，尽管考虑到它是专门针对此功能的实现细节设计的技巧，它会很脆弱。我为此找到了一些可能性。

最简单的似乎是这个愚蠢的技巧：

创建一个 ndarray 子类（我称之为它tqdm_array），当它在 Python 中迭代时，它会在包装数组本身的 tqdm 进度条上返回一个迭代器：

class tqdm_array(np.ndarray):
    def __iter__(self):
        return iter(tqdm.tqdm(np.asarray(self)))

然后在准备调用时deblend_sources将标签包装在此：

labels = np.array(segm_image.labels).view(tqdm_array)

并将其传递给deblend_sources(..., labels=labels, ...).

这将起作用，因为即使被NumPylabels代码迭代，它也会使用内部 C 代码直接迭代数组缓冲区（例如，对于像labels <= 0. __iter__...

但是当遇到类似 Python 的 for 循环for label in labels:（其中恰好只有一个在这个函数中）时，你会得到你的进度条。

于 2022-01-01T21:07:36.393 回答