问题标签 [ray]

我正在检查是否ray适合我的用例/业务。
我知道一组任务将连接到同一个参与者，这将导致参与者和任务之间产生大量的 IO。
我想知道是否有办法强制参与者和任务在同一个节点上运行，以优化 IO 连接。

我正在使用 Ray 进行分布式计算，但是，当我输入带有大约 3.5 GB 数据的 Ray 远程函数时，Ray 给了我一个错误：

例如：

我们有解决这个问题的办法吗？

有没有办法增加BinaryArray限制pyarrow？我在使用时遇到了这个异常ray.get：

ray (python)是否可以通过掩码的 np.arrays 处理操作/统计信息？[ np.nansum(...)在这种情况下]。

对于非屏蔽数组，效果很好；但它会因屏蔽数组而崩溃（请参阅下面的消息错误）。

以下是我在运行该行时遇到的错误：

data_id =matrox.remote(数据)

数组的大小为 4x5x6=120，但在将 120 值拟合为 240=4x5x12 ValueError时会“抱怨” ：无法将大小为 120 的数组重新整形为形状 (4,5,12)

使用 web-ui 启动射线头节点：

当我导航到 UI 时（在我开始培训之后），我没有看到任何正在使用的工人。

有人可以确认这对他们有用吗？

谢谢。

我最近开始使用 ray 进行并行执行。在我的串行用例中，我有一个“超时”，它会停止执行我的循环。我想知道如何使用 ray 做同样的事情。

ray 当前处理异常的方式是执行所有的运行，收集执行过程中发生的错误，并在最后显示消息。

如果当前作业超时，是否可以中断 ray 执行下一个作业？是否有一种全球性的方式来中断处决？

我有两个功能。每个函数都运行一个 for 循环。

如图所示，第一个函数调用第二个函数。第一个循环发生2000 次，即第一个数据帧中有 2000 行。

第二个函数（从 调用的函数f1()）运行1000 万次。

我的目标是加速f2()使用并行处理。我曾尝试使用像 Multiprocessing 和 Ray 这样的 python 包，但我是并行处理领域的新手，并且由于缺乏经验而遇到了很多障碍。

有人可以帮我加快函数速度，从而减少执行 1000 万行的时间吗？

我正在尝试使用 modin 读取 csv 文件，并导致以下错误。这个问题似乎发生在所有数据帧操作上：

RayWorkerError：工作人员在执行此任务时意外死亡。

Python 3.7.3 Pandas 0.24.2 Modin 0.5.4 Ray 0.7.1

Dask 通过纯（无状态）延迟接口有一些缓存（但不是真正持久的）。并且有许多自定义框架用于处理纯函数 (DAG) 的缓存层。基本上，最终总是以持久层加上内存缓存的模式以及调度框架内的数据亲和性的一些尝试而告终。

这是 ray-project 将要研究的东西，还是建立在 ray 之上的另一个项目？

我有兴趣使用该tune库进行强化学习，并且想使用内置的张量板功能。然而，我用来调整我的超参数的指标是基于一个耗时的评估过程，这个过程应该不经常运行。

根据文档，看起来该_train方法返回了一个字典，用于记录和调整超参数。是否可以在_train方法中更频繁地执行日志记录？或者，我是否可以返回我希望从_train方法中记录的值，但有时会从字典中省略计算成本高的指标？