我知道 Apache Livy 是用于从任何地方与 spark 交互的其余接口。那么使用 Apache Livy 代替 spark-jobserver 有什么好处。使用 Livy 作为替代方案的 spark-jobserver 有哪些缺点。我在互联网上找不到太多关于此的内容。你能帮我弄清楚这一点吗？

谢谢，

我是 spark 新手，想在本地机器上提交 rest url，我可以在远程集群上提交 rest。但是每次提交到远程集群有点乏味，有没有我可以提交jar 在本地机器上触发 rest url 以进行功能测试。

类似http://localhost:4040/v1/submissions/create

我正在使用http://localhost:4040/v1/submissions/create 但这似乎不起作用

我正在尝试了解如何将 Spark 作业提交给 Apache Livy。

我在我的 POM.xml 中添加了以下 API：

然后我在 Spark 中有以下代码，我想根据请求提交给 Livy。

使用以下代码创建LivyClient实例并将应用程序代码上传到 Spark 上下文：

但是，问题在于代码Test不适合与 Apache Livy 一起使用。

如何调整Test对象的代码以便能够运行client.submit(new Test())？

在将 Spark 作业提交到 Apache Livy 时，我不知道如何以编程方式传递 SparkSession 参数：

这是测试火花作业：

这是将此 Spark 作业提交给 Livy 的方式：

如何将以下配置参数传递给 SparkSession？

如何使用 Livy 提交代码 pyspark？我用了这个，它有效

但现在我要传递一个命令，例如这个

但是有语法错误...谁知道写这个命令的正确性？

谢谢

谢谢

我有以下内容，但我无法在集群模式下通过 Livy 成功提交作业。

这是我的设置

spark-defaults.conf

livy.conf

这个conf有什么问题吗？

我正在使用 apache livy 0.4 和 spark 2.3.0

我有一个 .py 文件，其中包含使用 mongodb 的 apache spark 机器学习，我想将我的代码结果连接到 android 应用程序，这是一种使用 REST api 的方法吗？我听说过 tensorflow 和 livy！

当通过 Apache Livy 将 Spark 作业提交到 Azure 集群时，我想添加一些配置。目前要通过集群中的 Apache Livy 启动 spark Job，我使用以下命令

此命令生成以下过程

由于运行jar时的技术问题，需要在该命令中引入两个配置。

它与在使用 log4j2 的 spark 上运行时的 logback 问题有关。额外的类路径添加了 logback jar

我在这里找到https://groups.google.com/a/cloudera.org/forum/#!topic/hue-user/fcRM3YiqAAA可以通过将此配置添加到 LIVY_SERVER_JAVA_OPTS 或 spark-defaults.conf 来完成

从 Ambari 我修改了 livy-env.sh 中的 LIVY_SERVER_JAVA_OPTS（在 spak2 和 livy 菜单中）和 Spark2 中的 Advanced spark2-defaults。

不幸的是，这对我们不起作用。甚至我可以看到 LivyServer 是使用 -Dspark.driver.extraClassPath 启动的

是否要在 Azure Hdinsight 中添加任何特定配置以使其正常工作？

请注意，该过程应该像

谢谢

我遇到了 Zeppelin --> Shiro --> Livy Integration 的问题。如果有人可以帮助我，那就太好了。

我目前的环境设置如下：

• 1 个主节点和 2 个从节点正在运行。
• 安装在主节点上的 Zeppelin 启动并运行
• Shiro 身份验证已使用 shiro.ini 文件启用，并且带有 shiro 的 zeppelin 也可以正常工作（还没有 LDAP 身份验证）
• 主节点上安装的 Livy 服务器启动并运行

etc/hadoop 下的 core-site.xml 配置如下：

是否可以在 Livy Interpreter for Zeppelin 中访问 zeppelin 上下文 (z)？如果是，那么如何访问它。如果不是，这是否意味着 Livy 中的 zeppelin 可视化仅限于 python 库。

如何在 scala 和 python 之间交换变量。如果您通过使用 z.put 和 z.get 在 Zeppelin 中使用标准 spark 解释器，这很简单