data-science-experience - 如何将 DSX Notebook 迁移到 Spark 2.0？

Question

它目前与 Spark 1.6 相关联，但我想使用 SparkSession 以及 Spark 中的其他新功能。如何在不将每个单元格复制到新笔记本的情况下进行迁移？

Answer 1

如果您正在寻找从 spark 1.6 到 spark 2.0 的自动代码转换，我认为这不可用。

您可以在同一个笔记本中进行更改，只需将内核更改为 spark 2.0 即可使用 spark 2.0 spark 服务运行。

或者，如果您不想碰旧笔记本，只需复制它即可。

至于手动进行更改，您需要参考 pyspark 或 scala 编程指南来转换您的代码。

http://spark.apache.org/docs/latest/programming-guide.html

谢谢，查尔斯。