1

我想将我的 python 脚本从本地迁移到云上运行，特别是在Azure Databricks创建的集群上。

  1. 纯python脚本可以并行运行（同时使用集群中的多个节点）而不必转换成pyspark吗？
  2. 是否可以检查作业是否并行运行？
4

1 回答 1

1
  1. 不
  2. 如果你提交了一个 spark 作业，你可以看到日志，它会显示它正在使用的执行器的数量。这就是你如何知道作业是并行运行的
于 2019-01-06T01:20:31.107 回答