问题标签 [livy]

我正在使用 livy 运行我的 Spark 作业，但是，我得到了以下异常

查看 Spark 作业日志，其中没有错误或异常，但它显示

在火花日志中，我没有看到任何异常，但我看到以下日志：

我在 HDP 2.6.3 上运行 Spark 1.6.3 作业

当我们尝试在 HDInsight 3.6 中使用 ADF 或 Livy 提交 Spark 作业时，具有安全传输功能的 Spark 2.1需要在关联的存储帐户中“启用” 。它没有提交 Spark 作业，我们无法在 YARN UI 中看到 Spark 作业，但是如果我们禁用 关联存储帐户中所需的此安全传输，我们可以提交相同的方式。

如果需要安全传输在存储帐户中为“启用” ，请告诉我们如何提交 Spark 作业。

尝试从 Azure Runbook 上的 Powershell 和 Powershell 工作流脚本调用 Invoke-RestMethod 时遇到此错误。

Unable to connect to the remote server (Unable to connect to the remote server (连接尝试失败，因为连接的一方在一段时间后没有正确响应，或者建立连接失败，因为连接的主机没有响应XX.XXX.XXX .XX:443))

当我使用相同的脚本在本地进行相同的调用时，它工作得很好。当我尝试连接到浏览器上的 URL 时，它也可以工作。

我正在使用 Invoke-RestMethod 尝试在 Spark HD Insight 集群上调用 Oozie 作业或 Livy 作业。

有没有人遇到过这个？任何帮助，将不胜感激。谢谢！

在我的 zeppelin (0.7.3) livy2.sparkr 解释器中，超过 1 行的脚本无法工作。

然后我在 R 中尝试了这个：

解析错误（文本 =“hello<-function(name){\r\n sprintf(\"Hello %s\", name);}") : 1:23: 意外输入 1: hello<-function(名称）{ ^

表达式(hello<-function(name){ sprintf("Hello %s", name);}) >

似乎 zeppelin 解释器误用了以 Windows 样式结尾的行，并且 R 不支持 \r。

有人遇到过这个问题吗？

代码：

当我在 eclipse 中运行这个程序时，我收到一个错误：-

如何解决这个错误？请评估我。

我正在尝试使用“spark.master=yarn”通过 Livy 服务器运行 Pyspark（或 Spark）作业。

我做了什么：

1) 在spark-defaults.conf 中：

2) 在livy.conf 中：

3) 我通过 CURL 使用"conf": {"spark.master": "yarn"}发送请求

例子：

我总是在日志中得到什么：

18/01/02 14:45:07.880 qtp1758624236-28 INFO BatchSession$：创建批处理会话 3：[所有者：null，请求：[proxyUser：无，文件：hdfs:///user/grzegorz/hello-world.py , 名称: MY, conf: spark.master -> yarn ]]

2002 年 1 月 1 日 14:45:07.883 qtp1758624236-28 信息 SparkProcessBuilder：正在运行'/usr/local/share/spark/spark-2.0.2/bin/spark-submit''--name''MY''-- conf''spark.master= local''hdfs:///user/grzegorz/hello-world.py '

我希望有人对如何解决它有任何想法。先感谢您。

我正在尝试按照以下文档使用 Zeppelin 配置 livy： https ://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是，当我运行时：

我收到以下错误：

我使用 Zeppelin 0.7.3、Spark 2.2.1 和 Livy 0.4.0。Spark 在 YARN (hadoop 2.9.0) 上运行。这是原版安装，我不使用 cloudera/HDP 之类的发行版。所有这些软件都在一台服务器上运行。

我可以使用 --master yarn 在 spark-shell 中运行示例 org.apache.spark.examples.SparkPi 没有任何问题。所以我确认 spark 在 YARN 上运行良好。

任何帮助，将不胜感激。

谢谢，尤萨塔。

如何在 Apache Zeppelin 中向 Apache Livy 解释器添加依赖项？

我尝试添加方式，我为 Zeppelin 中的标准 Spark Interpreter 做了，但没有用

我尝试在 livy.spark.jars.packages 上添加它，但没有用。

所有这些依赖项都在我的本地存储库中可用

我正在尝试使用 fetch() 从我的网站以 javascript 向 Livy 发送 POST 请求。但是，CORS 默认启用，请求失败。在将模式设置为“no-cors”时，livy 服务器会发送一个空字符串作为响应（我无法访问响应）。有没有办法修改 livy.conf 文件或任何其他方式在 livy 服务器中启用 CORS？

任何帮助，将不胜感激。

我正在尝试通过 Postman POST 调用通过 livy 批次提交申请。我确实在日志中看到以下错误。但我可以通过 Curl 执行交互式 livy 会话中的命令。

我检查了 livy2-env 中的 HADOOP_CONF_DIR 属性，并设置了与 Spark2-env 相同的值

请建议我是否遗漏任何

"Diagnostics: File does not exist: hdfs://<host:port>/user/livy/.sparkStaging/application_TimeStamp/__spark_conf__.zip"