1

我终于设法让火花在本地运行并启动它（？）使用：

spark-shell

我看到这就像启动一个可以通过 API 使用的服务器程序 - 不确定这是否正确？还是火花大师仍在运行？结果是这样打印出来的：

Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.

我可以访问 web ui，但是如何在我的 C# 驱动程序中参数化 sparkcontext 以针对本地 spark 运行。最终目标是在 C# 中运行这个 Scala 代码：

scala> val file = sc.textFile("C:\\war_and_peace.txt")
scala> val warsCount = file.filter(line => line.contains("war"))
scala> val peaceCount = file.filter(line => line.contains("peace"))
scala> warsCount.count()
res0: Long = 1218
scala> peaceCount.count()
res1: Long = 128

例如，让字数重新写入控制台。任何指针将不胜感激。谢谢！

PS：

看来我必须创建代码的可执行文件，然后使用： sparkclr-submit.cmd 或 sparkclr-submit.sh 来执行它。这个对吗？如果是这样，这意味着我无法在 Visual Studio 中运行/调试代码？！

4

1 回答 1

2

Spark-shell.cmd 不会启动本地 Spark 集群。shell 用于连接到现有的 Spark 集群（YARN、Standalone 或 Mesos）或本地模式下的 Spark。运行 spark-submit.cmd 时，请参阅有关提供适当“主”配置 ( http://spark.apache.org/docs/latest/submitting-applications.html#master-url ) 的 Spark 文档。您需要为 Mobius 中的 sparkclr-submit.cmd 提供相同的参数集。您需要提供的唯一附加参数是 exe 名称。要了解如何在 Mobius 中实现字数统计应用程序，请参阅https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#wordcount-example-batch中的示例

如果要在 VS 中调试，请按照https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#debug-mode中的调试模式说明进行操作

于 2017-04-16T17:45:58.313 回答