pyspark - 如何将 Watson Studio python notebook 与 IAE Spark 集成？

Question

我有一个 IBM Analytics Engine (IAE) 实例，将它作为关联服务添加到我的 Watson Studio 项目中，并基于它创建了一个环境。然后，我创建了一个 python 笔记本并将其环境设置为上述。

我在笔记本中运行了一个简单的 pyspark 脚本，发现它使用的是本地实例而不是 IAE。

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
spark

输出：

SparkSession - in-memory
SparkContext

Spark UI
Version
v2.4.5
Master
local[*]
AppName
pyspark-shell

我究竟做错了什么？

Answer 1

你没有做错什么。您的代码将被发送到 IAE 执行。所以它在您的 IAE 实例中本地运行。