python - 迭代 Dask 数据框

Question

我正在尝试从数百个大型 CSV 文件的单个列中创建 Keras Tokenizer 。Dask 似乎是一个很好的工具。我目前的方法最终会导致内存问题：

df = dd.read_csv('data/*.csv', usecol=['MyCol'])

# Process column and get underlying Numpy array.
# This greatly reduces memory consumption, but eventually materializes
# the entire dataset into memory
my_ids = df.MyCol.apply(process_my_col).compute().values

tokenizer = Tokenizer()
tokenizer.fit_on_texts(my_ids)

我怎样才能做到这一点？类似于以下内容：

df = pd.read_csv('a-single-file.csv', chunksize=1000)
for chunk in df:
    # Process a chunk at a time

Answer 1

Dask DataFrame 在技术上是一组 pandas 数据帧，称为分区。当你得到底层的 numpy 数组时，你正在破坏分区结构，它将是一个大数组。我建议使用map_partitionDask DataFrames 的函数分别在每个分区上应用常规 pandas 函数。

Answer 2

我还建议map_partition何时适合您的问题。但是，如果您真的只想要顺序访问，以及类似的 API，read_csv(chunksize=...)那么您可能正在寻找 partitions 属性

for part in df.partitions:
    process(model, part.compute())