1

我尝试使用 spline 使用此处指定的两种方式来跟踪 spark 中的血统 但是它们都失败并出现相同的错误

错误 QueryExecutionEventHandlerFactory：样条初始化失败！Spark 沿袭跟踪已禁用 Spark Agent 无法与 spline 网关建立连接

CausedBy：java.net.connectException：连接被拒绝

我可以在 port 看到 UI 8080，9090而且 arangoDB 也已启动并正在运行。

但没有显示血统。

我试过 pyspark 和 spark-shell 但没有运气。任何帮助表示赞赏。

4

1 回答 1

4

我能够通过手动创建rest-server,arangoDb然后web-client在运行 spark shell 时为生产者提供正确的 uri来解决问题

--conf "spark.spline.producer.url=http://localhost:8080/producer"

尽管应用了各种操作和转换，但我仍然没有在 webui 上获得血统。

后来我意识到，一旦我们保存数据帧，就会生成 Lineage，所以一旦触发写入，我就能够看到 lineage 图。

于 2020-06-24T07:04:32.453 回答