0

我有一个在 GCP 中运行的 DataProc 集群。我为它运行了 Livy 初始化脚本，我可以通过网关接口访问 livy/sessions 链接。我为我的 sparkmagic config.json 设置了以下内容：

{
    "kernel_python_credentials" : {
        "auth": "None",
        "url": "https://{SERVER}.dataproc.googleusercontent.com/livy"
    },
    "should_heartbeat": true,
    "livy_server_heartbeat_timeout_seconds": 60,
    "heartbeat_refresh_seconds": 5,
    "heartbeat_retry_seconds": 1,
    "ignore_ssl_errors": false
}

我可以启动内核，但如果我尝试执行一个单元格，它似乎会以登录页面回复。是否需要设置其他一些参数才能使其正常工作？

4

1 回答 1

0

为了其他来这里的人的利益 - 我能够通过设置从 livy 服务到我的本地机器的端口转发来获得连接。但是，我遇到了无法对集群实际执行作业的问题。看来 Livy 或多或少已经不复存在了，特别是当前可用的版本（最新的 0.7.1）不是针对 Spark 3 / Scala 2.12 构建的。没有简单的方法可以完成这项工作。

于 2021-12-30T21:43:46.300 回答