4

我有一个目录树

working_dir\
    main.py
my_agent\
    my_worker.py
my_utility\
    my_utils.py

每个文件中的代码如下

""" main.py """

import os, sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

from my_agent.my_worker import MyWorker
import ray

ray.init()
workers = [MyWorker.remote(i) for i in range(10)]
ids = [worker.get_id.remote() for worker in workers]
# print(*ids, sep='\n')
print(*ray.get(ids), sep='\n')

""" worker.py """
from my_utility import my_utils
import ray

@ray.remote
class MyWorker():
    def __init__(self, id):
        self.id = id

    def get_id(self):
        return my_utils.f(self.id)

""" my_utils.py """
def f(id):
    return '{}: Everything is fine...'.format(id)

这是我收到的错误消息的一部分

回溯（最近一次通话最后）：

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/function_manager.py”，第 616 行，在 fetch_and_register_actor unpickled_class = pickle.loads(pickled_class)

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/cloudpickle/cloudpickle.py”，第 894 行，在子 导入（名称）中

ImportError：没有名为“my_utility”的模块

回溯（最近一次通话最后）：

文件“main.py”，第 12 行，在 print(*ray.get(ids), sep='\n')

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/worker.py”，第 2377 行，获取提升值 ray.worker.RayTaskError: ray_worker (pid=30025, host =AiMacbook)

异常：名称为 MyWorker 的 actor 导入失败，因此无法执行此方法

如果我删除所有与 相关ray的语句，上面的代码就可以正常工作。因此，我大胆猜测原因是ray每个actor在一个新进程中运行，并且sys.path.append只在主进程中起作用。所以我将以下代码添加到worker.py

import os, sys
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))

但它仍然不起作用：显示相同的错误消息。现在我的想法用完了，我该怎么办？

4

2 回答 2

8

您对问题所在是正确的。

在您的示例中，您修改sys.pathinmain.py以便能够导入my_agent.my_worker和my_utility.my_utils.

但是，此路径更改不会传播到工作进程，因此如果您要运行远程功能，例如

@ray.remote
def f():
    # Print the PYTHONPATH on the worker process.
    import sys
    print(sys.path)

f.remote()

您会看到sys.path在 worker 上不包含您添加的父目录。

对工人进行修改sys.path（例如，在MyWorker构造函数中）不起作用的原因是MyWorker类定义被腌制并运送给工人。然后worker unpickles它，并且需要导入unpickling类定义的过程my_utils，并且由于actor构造函数还没有机会运行而失败。

这里有几个可能的解决方案。

  1. 使用类似的东西运行脚本

    PYTHONPATH=$(dirname $(pwd)):$PYTHONPATH python main.py

    （从内部working_dir/）。这应该可以解决问题，因为在这种情况下，工作进程是从调度程序进程中派生出来的（当您调用时，它是从主 Python 解释器派生出来的ray.init()，因此环境变量将由工作人员继承（这sys.path可能不会发生，因为它不是环境变量）。

  2. 看起来像添加行

    parent_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
os.environ["PYTHONPATH"] = parent_dir + ":" + os.environ.get("PYTHONPATH", "")

    in main.py（在ray.init()通话之前）也出于与上述相同的原因而工作。

  3. 考虑添加一个setup.py并将您的项目安装为 Python 包，以便它自动位于相关路径上。

于 2019-01-24T05:54:36.227 回答
1

新的“运行时环境”功能，在本文发布时不存在，应该有助于解决这个问题：https ://docs.ray.io/en/latest/handling-dependencies.html#runtime-environments 。（参见working_dir和py_modules条目。）

于 2022-01-14T23:55:24.517 回答