问题标签 [livy]

我想访问使用 Kerberos 身份验证的服务。服务管理员给了我一个spnego.service.keytab正确的 Kerberos 主体和领域的文件。我可以kinit针对该密钥表文件运行以成功获取 Kerberos 票证。但是，当我尝试在集群外的 Windows 7 笔记本电脑中使用 curl 访问该服务时，出现此错误：

该服务恰好是Livy，但一位同事在同一个集群上使用 Oozie 时遇到了同样的错误，所以我认为服务本身的细节并不重要。

以下是完整的详细信息：

需要做什么才能使 curl 命令起作用？

如何获取我在集群中使用的 livy 版本是什么？我们在集群节点上有活跃的客户端和服务器，但我需要知道它的版本是什么，最好在 horthonwork 集群上。

我是 Livy 的新手，我按照官方的说法构建了 Livy。命令如下：

然后我得到如下错误：</p>

[错误] 插件 org.apache.maven.plugins:maven-enforcer-plugin:1.4.1 或其依赖项之一无法解析：未能找到 org.apache.maven.plugins:maven-enforcer-plugin:jar: http://repo.maven.apache.org/maven2中的1.4.1 被缓存在本地仓库中，直到 central 的更新间隔过去或强制更新后才会重新尝试解析 ->`

我清洁~/.m2/并使用mvn -U clean package，它也失败了。有人可以帮我吗？谢谢

I installed apache spark and apache Livy in my system. When I am running a python code, it's giving error

By default Apchy Livy run on port number 8998. My python code is

How I can resolve this error?

我正在尝试将 Python 文件提交到 REST API，但它总是给出错误。我正在使用本地模式，我正在运行的命令如下：

从这个链接https://groups.google.com/a/cloudera.org/forum/#!topic/livy-user/mm-XEhANDHU我发现我必须通过修改 livy.conf 来修改 livy.conf将 /Users/neha/Desktop/spark_project/examples/ 目录添加到 livy.file.local-dir-whitelist。我再次使用上面的 curl 命令运行代码，但现在我也遇到了同样的错误。

请注意，“spark_livy_ex3.py”是我要运行的 python 文件。

我该如何解决这个问题？

我在本地运行了一个 livy 服务器，它连接到远程纱线集群以运行 spark 作业。

当我从 Livy 程序化 Job api 上传我的 jar 时，出现以下错误。

看起来正确的 netty 通道处理程序没有为请求消息映射。因为这个火花上下文没有被创建。

livy.conf 设置：

我能够发布到 Livy-REST /batches api 并且它成功提交并完成了纱线集群中的工作。

使用相同的配置，当我尝试从我的 java 客户端上传 jar 时，它失败并出现以下错误。

Livy 版本：0.4.0-孵化。

HTTP 客户端：

错误：

我制作了一个简单的 python 文件，它想在 Livy 中提交。Livy 目前正在模式下运行。local另外我在 livy.conf 文件中提到了以下属性。

我的文件保存在以下路径“/usr/local/livy/scripts”中

我使用curl如下方式提交它：

它给了我以下错误：

我的 Ubuntu 系统只有以下内容：

我在这里做错了什么？

我在https://github.com/apache/incubator-livy/blob/master/docs/rest-api.md为 Livy 的部分 REST API 编写了一个 Java 客户端。客户端使用 Spring 的RestTemplate.getForObject()和postForObject()分别发出 GET 和 POST 请求。Livy 服务器由 Kerberos 保护。

GET /sessions并且GET /batches请求工作正常：我得到了 Livy 的预期回复。但是POST /sessions和POST /batches请求都失败了：

有谁知道为什么 GET 请求成功时 POST 请求失败？我的代码对身份验证没有任何明确的作用。

我尝试过通过 Kerberos 以几个不同的用户身份进行身份验证，但我总是遇到这个问题。Livy 是否需要额外的配置来允许来自特定用户的 POST 请求（因为 POST 请求有效地创建交互式会话或向 Spark 提交作业）？

我正在编写一个 ASP.Net Web API，它会在某个时候与 Apache Spark 集群进行通信。

通信是使用Spark 集群上的Livy服务器建立的，该服务器公开了一个 REST API 接口和一个我编写的 HTTP 客户端。

在我的业务逻辑中，我需要定义将作为作业提交给 spark 的操作。现在我创建一个 Livy PySpark 会话并提交 PySpark 代码。

PySpark 代码由我的 Web API 的逻辑生成。作为代码生成的一个例子，如果我想导入一个 python 模块，我这样做：

这对我来说似乎非常错误和重复。

我的问题：是否有任何稳健的方法（或设计模式）来生成这样的代码字符串，以最大限度地减少解释器（Livy）语法错误的概率？

我正在运行一个 3 节点 Spark 2.1.1 独立集群，spark.authenticate=true并且 Livy 服务器无法连接到它。这是我的一部分 livy.conf

在日志中我可以看到由于某种原因安全性被声明为DISABLED ，我猜这会导致这个错误跟踪......

PS。我已经在单节点环境中进行了相同的测试，并且似乎工作正常。

谢谢。