parallel-processing - 使用 pyarrow 和 s3 的 dask 计算出现不同的错误

Question

我正在使用 pyarrow 使用 dask 进行一些 groupby 并行计算，以从 s3 加载镶木地板文件。但是，同一段代码可能会随机运行或失败（带有不同的错误消息）。使用 fastparquet 时发生了同样的问题：

File "pyarrow/_parquet.pyx", line 1036, in pyarrow._parquet.ParquetReader.open
File "pyarrow/error.pxi", line 80, in pyarrow.lib.check_status
pyarrow.lib.ArrowIOError: Arrow error: IOError: [SSL: DECRYPTION_FAILED_OR_BAD_RECORD_MAC] decryption failed or bad record mac (_ssl.c:2309). Detail: Python exception: ssl.SSLError

或因其他错误而失败：

File "pyarrow/_parquet.pyx", line 1036, in pyarrow._parquet.ParquetReader.open
  File "pyarrow/error.pxi", line 80, in pyarrow.lib.check_status
pyarrow.lib.ArrowIOError: Arrow error: IOError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:2309). Detail: Python exception: ssl.SSLError

我使用的 dask 调度程序是进程。它适用于线程，但会非常慢。这种行为是否适用于 dask？