scala - 如何使用 Intellij Idea 使用 Apache Spark？

Question

我想知道使用 Intellij Idea 使用 Apache Spark 的最佳方式是什么？（特别适用于 Scala 编程语言）

如果可以，请逐步解释。

感谢您的回答

Answer 1

Intellij Idea Tutorial Link上有关于使用 Scala 设置 Spark 的好教程

如果您遇到任何问题，请告诉我。

Answer 2

这里可能没有免费的午餐。我是 SQL 和 MLLib 领域的 Spark 贡献者，并且在处理 Intellij 和 Spark 集成方面花费了无数时间。你可以谷歌“stackoverflow intellij spark”，这会给你一个想法。

按照 imAGin 的建议查看一些教程。使用 StackOverflow 问题和答案（我自己提出了很多问题）。您将需要投入大量时间来完成这项工作。不幸的是，这不是一次性的事情。Spark 不断变化——包括它的依赖项和构建文件。所以这是一个困难而移动的目标。

Answer 3

1. 使用 IntelliJ 设置 Scala 开发环境。请参阅Scala - 入门。

   • JDK 是必需的，因为 Scala 是一种 JVM 语言
   • sbt是构建工具
   • IntelliJ 可以是 IDE

2. 在 Scala 环境中，添加 Spark 依赖项。请参阅Spark - 入门。

   • 使用执行应用程序spark-submit

这些链接提供了简单的工作示例，您可以扩展这些示例来编写自己的应用程序。