dask - 调试 dask.dataframe.to_parquet 的正确原因

Question

我发现在运行to_parquet函数时列对象的类型存在一些问题。我正在运行 dask 版本 15.1 。

我已经使用astype(object)显式转换了我的列，这有助于一些列但不是全部。
我收到以下错误 - TypeError: bad argument type for built-in operation。
添加object_encoding='utf-8参数后，我收到以下错误 - TypeError: expected list of bytes。

调试此问题的最佳方法是什么？
顺便说一句-我的数据集有希伯来语字符。

谢谢

Answer 1

正确的写法是object_encoding='utf8'。

请注意，对象编码通常是每列设置，因此您可以拥有例如object_encoding={'a': 'utf8', 'b': 'bytes'}. 特殊值'infer'试图猜测给定对象列的正确编码，但这样做并不总是成功；这可能是您看到的第一个错误的原因。