python - dask 如何从调度程序向工作人员分发数据？

Question

是否有任何关于 dask 如何拆分并将数据发送给工作人员的文档？我在官方网站上没找到。

Answer 1

如果您对数据移动策略感兴趣，那么您可能会对这份关于数据局部性的文档感兴趣： http: //distributed.readthedocs.io/en/latest/locality.html

如果您对消息协议感兴趣，那么这篇博文可能会有所帮助：http://matthewrocklin.com/blog/work/2016/04/14/dask-distributed-optimizing-protocol

作为警告，像这样的策略和协议比编程接口更短暂，因此这个答案很可能会随着时间的推移而变得陈旧。尽管如此，这应该可以让您了解要考虑的事情种类。