0

我正在尝试使用 py4j 打开一个网关,我可以使用该网关将对象从 java 传递到 python。当我尝试使用 py4j 函数打开网关时,launch_gateway它似乎没有正确连接到我的 Java 类。但是,当我在命令行中启动我的 java 类,然后使用 python 连接到它时,JavaGateway一切都按预期工作。我希望能够使用内置方法,因为我确信我没有考虑到 py4j 设计中已经考虑过的事情,但我只是不确定我做错了什么。

假设我想创建一个通往班级的网关sandbox.demo.solver.UtilityReporterEntryPoint.class。在命令行中,我可以通过执行以下命令来做到这一点:

java -cp /Users/grr/anaconda/share/py4j/py4j0.10.4.jar: sandbox.demo.solver.UtilityReporterEntryPoint py4j.GatewayServer

这按预期启动,我可以在连接到网关后从 python 中使用我的类中的方法。到目前为止,一切都很好。

我对 py4j 文档的理解使我相信我应该执行以下操作以在 python 中启动网关:

port = launch_gateway(classpath='sandbox.demo.solver.UtilityReporterEntryPoint')
params = GatewayParameters(port=port)
gateway= JavaGateway(gateway_parameters=params)

执行这三行时我没有收到任何错误,但是当我尝试使用它访问我的 java 类方法gateway.entry_point.someMethod()时失败并出现以下错误:

Py4JError:调用 t.getReport 时发生错误。跟踪:py4j.Py4JException:此网关的目标对象 ID 不存在:t 在 py4j.commands 的 py4j.Gateway.invoke(Gateway.java:277).AbstractCommand.invokeMethod(AbstractCommand.java:132) 在 py4j.commands。 CallCommand.execute(CallCommand.java:79) at py4j.GatewayConnection.run(GatewayConnection.java:214) at java.lang.Thread.run(Thread.java:745)

显然,有些东西没有被正确调用,launch_gateway或者我给它提供了错误的信息。

在 py4j 源代码中,launch_gateway您可以看到给定您提供的输入和函数构造的输入,构造一个命令,最终由subprocess.Popen. 因此,给定传递给launch_gateway上述命令的输入Popen将是:

command = ['java', '-classpath', '/Users/grr/anaconda/share/py4j/py4j0.10.4.jar:sandbox.demo.solver.UtilityReporterEntryPoint', 'py4j.GatewayServer', '0']

传递此命令以Popen按预期返回侦听端口。但是,连接到这个监听端口仍然不允许访问我的类方法。

最后,将命令作为单个字符串传递给不带最终参数 ('0') 的 Popen,正确启动网关,该网关再次按预期运行。看过 py4j.GatewayServer.class 的 Java 源代码后,这是没有意义的,因为 main 方法似乎表明如果参数的长度为 0,则该类应该以状态 1 退出。

在这一点上,我有点不知所措。我可以破解一个可行的解决方案,但正如我所说,我确信这忽略了网关行为的重要方面,我不喜欢 hacky 解决方案。我很想在这篇文章中标记@Barthelemy,但希望他能读到这篇文章。提前感谢您的帮助。

编辑

目前,我已经能够通过以下步骤解决此问题。

  1. 将包括所有外部依赖项在内的整个项目打包到一个 jar 文件magABM-all.jar中,并将“Main-Class”设置为UtilityReporterEntryPoint.

  2. 包括if...else关于存在--die-on-exit完全一样的块GatewayServer.java

  3. 用于subprocess.Popen调用命令运行项目jar。

UtilityReporterEntryPoint.java

public static void main(String[] args) throws IOException {
  GatewayServer server = new GatewayServer(new UtilityReporterEntryPoint());
  System.out.println("Gateway Server Started");
  server.start();
  if (args[0].equals("--die-on-exit")) {
    try {
        BufferedReader stdin = new BufferedReader(new InputStreamReader(System.in, Charset.forName("UTF-8")));
        stdin.readLine();
        System.exit(0);
    } catch (java.io.IOException e) {
        System.exit(1);
    }
  }
}

应用程序.py

def setup_gateway()
    """Launch a py4j gateway using UtilityReporterEntryPoint."""
    process = subprocess.Popen('java -jar magABM-all.jar --die-on-exit', shell=True)
    time.sleep(0.5)
    gateway = JavaGateway()
    return gateway

这样我仍然可以gateway.shutdown在必要时使用,如果启动 py4j 网关的 python 进程死亡或关闭,网关将被关闭。

注意我绝不会认为这是最终解决方案,因为 py4j 是由更聪明的人编写的,目的很明确,我相信有一种方法可以在 py4j 的范围内管理这个确切的工作流程。这只是权宜之计。

4

1 回答 1

1

有几个问题:

  1. 中的classpath参数launch_gateway应该是目录或者jar文件,而不是类名。例如,如果您想包含其他 Java 库,您可以将它们添加到类路径参数中。

  2. 您调用时收到的错误gateway.entry_point.someMethod()意味着您没有入口点。当您调用launch_gateway时,JVM 会使用 GatewayServer.main 启动,它会启动一个没有入口点的 GatewayServer:GatewayServer server = new GatewayServer(null, port)。目前无法使用launch_gateway和指定入口点。

  3. 当您启动 JVM 时,java -cp /Users/grr/anaconda/share/py4j/py4j0.10.4.jar: sandbox.demo.solver.UtilityReporterEntryPoint py4j.GatewayServer我相信 JVM 使用 UtilityReporterEntryPoint 作为主类。尽管您没有提供代码,但我假设这个类有一个 main 方法,并且它会启动一个 GatewayServer,并将 UtilityReporterEntryPoint 的实例作为入口点。请注意,冒号和类名之间有一个空格,因此 UtilityReporterEntryPoint 被视为主类,而不是类路径的一部分。

于 2017-04-08T00:27:27.663 回答