python - 如何在 dask_cudf 和 cudf 中使用 tqdm 进度条

Question

例如，我可以tqdm在熊猫中使用进度条：

tqdm.pandas()
df = df['var'].progress_apply(lambda x: something(x))

我可以做同样的事情吗？cudf如果dask_cudf没有，我怎么能在其中使用 tqdm 进度条，

Answer 1

在progress_apply可用之前，您必须自己实现一个等价物（例如使用apply_chunks）。只是代码的草图：

full_size = 100
t = tqdm(total=full_size)
def chunks_generator():
    chunk_size = 5
    for s in range(0,full_size,chunk_size):
        yield s
        t.update(s)

df.apply_chunks(..., chunks=chunks_generator())