java - 从当前 livy 会话访问数据文件

Question

我有一个在 Hadoop 上以 YARN 模式运行的 Spark 集群。我已将 Livy 服务器配置为交互并将客户端 spark 作业提交到 spark 集群。我将一个数据文件与来自 java 程序的 jar 一起上传到了 Livy，该文件被上传到 HDFS 的 .livySessions 文件夹中。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();

我应该如何配置我的程序以从当前的 Livy 会话中读取数据文件以执行。

Answer 1

您可以使用 SparkFiles.get () 从您的 spark 作业中获取这些文件。试着让我知道。