curl - Livy：在纱线模式下运行火花作业

Question

无法通过 Livy 在纱线（集群或客户端）模式下运行 Spark 作业，我可以使用 Livy 运行 Spark 作业，但这些作业正在本地模式下运行，并且在资源管理器中不可见。我想以纱线集群模式运行这些作业。

我正在使用 Hortonworks HDP 2.6.1 hadoop 发行版。HDP2.6.1 有两个版本的 spark（2.1.1 和 spark 1.6.3）和两个版本的 livy（1 和 2）。

我们有 Ambari 来查看/更改 conf 文件。

我们对以下文件进行了更改：-

在上述文件中添加了以下属性：-

========数据=========

data = {
  'code': textwrap.dedent("""
    print(sc.applicationId)
    """)
}

========卷曲命令=========

curl hdpmaster:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'

有人可以帮忙，我们需要在哪个配置文件中进行更改才能在纱线模式下运行火花作业？

score 0 · Accepted Answer

由于您无法在工作的 conf 中设置主参数，因此他可能正在使用 jar 中设置的内容，即“本地”。检查您的代码可能是您对值进行硬编码

1 回答 1