问题标签 [dask-delayed]

我正在尝试使用 dask.delayed 来构建任务图。这通常工作得很好，但我经常遇到这样的情况，我有许多延迟对象，这些对象有一个方法返回一个长度的对象列表，该长度不容易从我目前可用的信息中计算出来：

这给出了一个

dask 有什么办法可以解决这个问题，最好不必在中间结果上调用 .compute() ，因为这会破坏拥有任务图的大部分好处？它基本上意味着在运行某些步骤之前无法完全解析图形，但唯一可变的是平行部分的宽度，它不会改变图形的结构或深度。

dask.array从 dask.Series 列表创建一个最有效的方法是什么？该系列由 500 万个列表 300 个元素组成。目前分为500个分区。目前我正在尝试：

这个想法是将每个分区转换为一个 numpy 数组，然后将它们拼接成一个dask.array. 不过，这段代码要花很长时间才能运行。只要有足够的 RAM，就可以按顺序从这些数据中快速构建一个 numpy 数组。

我有一个简单的任务，它由 dask-scheduler 调度并在工作节点上运行。

我的要求是，我希望能够在用户想要的时候按需停止任务。

蟒蛇代码::

运行上述代码后，我收到 proc 对象的序列化错误。请帮我解决这里的问题..

不知道这里出了什么问题..感谢您的时间和帮助..谢谢..

我在一个节点上运行 dask-scheduler，而我的 dask-worker 在另一个节点上运行。我从第三个节点向 dask-scheduler 提交任务。

它有时会抛出distributed.utils

错误 - 现有数据导出：无法调整对象大小

我正在使用 python 2.7、tornado 4.5.2、tensorflow 1.3.0

我很确定这与 dask 有关。

scriptA.py 内容：

scriptB.py 内容：

scriptA.py 在 node-1(192.168.23.12:9784) 上运行，而 dask-worker 在另一个 node-2 (198.168.54.86:4658) 上运行，而 dask-scheduler 在不同的 node-3(198.168.1.3:8786) 上运行.

这里的问题是如何将 scriptB.py 所需的依赖项（例如 folder1、file1、file2 等）从运行在 node-1 上的 scriptA.py 传递给 dask-worker node-2。

有没有办法向 Dask 调度程序/工作人员控制台日志添加/启用时间戳。？

dask：0.15.0-py35_0
分布式：1.17.1-py35_0

如果我使用上述版本，则未启用 -

调度器 -

工作人员 -

有什么办法可以给这些日志加上时间戳。？这将有助于调试一些内部崩溃。

亲切的问候，雅各布。

假设我有 4 个节点 dask 集群，其中在节点 1 上运行 dask-scheduler，而在其余节点上运行 dask-workers。我集体提交了 5 个长期运行的任务。所以在这种情况下发生的是，3 个任务处于运行模式，另外 2 个处于等待状态。但我不想等待 dask-worker 空闲，而是想启动一个新的 worker，因为任务是长期运行的。

有什么办法可以在 dask 中实现这一点。？

def my_task(): print("dask_worker_log_msg") ...

客户=客户（）

未来 = client.submit(my_task) print("dask_client_log_msg") ...

我想在一个文件中捕获“dask_client_log_msg”和其他任务日志，在一个单独的文件中捕获“dask_worker_log_msg”和其他客户端日志。显然，客户端将与工作人员完全在一个单独的进程中运行。所以我需要一个进程将其所有消息记录在一个单独的文件中。谢谢。！

如果我有一个可变对象，例如一个 dict，dask 如何处理将其作为输入传递给延迟函数？特别是如果我在延迟调用之间对字典进行更新？

我尝试了以下示例，这似乎表明正在进行一些复制，但您能详细说明 dask 到底在做什么吗？