4

我决定使用 Apache Livy 为 Apache Spark 构建一个 Web 服务（应用程序）。
根据 Livy 配置默认值，Livy 服务器已启动并在 localhost 端口 8998 上运行。
我的测试程序是 Apache Livy 文档中的示例应用程序： https ://livy.incubator.apache.org/docs/latest/programmatic-api.html

通过LivyClientBuilder类创建 LivyClient时，

 client = new LivyClientBuilder().setURI(new 
 URI("http","user:info","localhost",8998,"","",""))
    .build();

我得到“任何注册的客户端工厂都不支持 URI”异常：

Exception in thread "main" java.lang.IllegalArgumentException: URI 'http://%5Bredacted%5D@localhost:8998?#' is not supported by any registered client factories.
at org.apache.livy.LivyClientBuilder.build(LivyClientBuilder.java:155)
at Client.<init>(Client.java:17)
at Client.main(Client.java:25)

我发现客户端实例在LivyClientBuilder类中保持为空。

client = factory.createClient(uri, this.config);

factory 是LivyClientFactory接口的一个实例。
实现该接口的唯一类是RSCClientFactory。
在RSCClientFactory我们有这段代码：

if (!"rsc".equals(uri.getScheme())) {
     return null;
 }

我试过“rsc”而不是“http”，这是错误：

    2018-09-15 11:32:55 ERROR RSCClient:340 - RPC error.
  java.util.concurrent.ExecutionException: javax.security.sasl.SaslException: Client closed before SASL negotiation finished.
  javax.security.sasl.SaslException: Client closed before SASL negotiation finished.
    at io.netty.util.concurrent.AbstractFuture.get(AbstractFuture.java:41)
    at org.apache.livy.rsc.rpc.Rpc$SaslClientHandler.dispose(Rpc.java:419)
    at org.apache.livy.rsc.JobHandleImpl.get(JobHandleImpl.java:60)
    at org.apache.livy.rsc.rpc.SaslHandler.channelInactive(SaslHandler.java:92)
    at Client.main(Client.java:39)

Apache Livy 在 http://localhost:8998上运行，那么我认为我们需要将我们的 jar 文件提交到这个地址，但我不明白那里的“rsc”。

如果有人指导我解决这些问题，我将不胜感激。

4

2 回答 2

0

您只需要将 URL 作为字符串传递：

LivyClient client = new LivyClientBuilder()
                .setURI(new URI("http://localhost:8998"))
                .build();

之后，您可以添加 *.jar 文件：

client.addJar("file://...yourPathToJarHere.../*.jar");

或者

client.uploadJar(new File("...."));

这取决于您的集群配置。您可以在此处找到完整的 java API 描述：https ://livy.incubator.apache.org/docs/latest/api/java/index.html

于 2018-10-09T17:10:03.337 回答