0

我基本上是一个 .net 程序员，我的任务是使用 SPARK 和 Cassandra 分析数据。我一直在寻找与 SPARK 一起使用的 C# API，但我发现了 Mobius（因为我不知道 JAVA）。我开始从 GitHub 下载 Mobius 项目，并且按照 Windows 的构建，我按照上面提到的步骤进行操作，但无法正常工作。我对此有以下问题。

1）我在 Ubuntu 机器上有一个 DataStax 企业，我的 Cassandra 和 SPARK 可用（独立）。现在我想从我的 .NET 项目连接到 SPARK，然后在 Cassandra 中处理数据。我可以这样做吗？我想在调试模式下这样做吗？我只会使用 SPARK-SQL，因为我对 SQL 很熟悉。

2）为了让Mobius工作，必须在我的Windows机器上安装SOLR和SPARK吗？我可以从 Windows SPARK 和 Mobius 连接到 CASSANDRA（Ubuntu 机器）吗？

3) 当我运行命令“<strong>sparkclr-submit.cmd debug”来获取CSharpBackendPortNumber的值时，我收到一个错误“<strong>load-spark-env.cmd”丢失。我在哪里可以找到这个文件以及如何获得 CSharpBackendPortNumber 的值？我的 Windows 机器中是否有必要安装 SPARK？

4

1 回答 1

0

  1. 在 Linux 中使用 Windows 客户端连接到基于 YARN 的 Spark 集群是 Mobius 支持/验证的方案。我从未尝试过将 Windows 客户端用于 Mobius 和独立的基于 Linux 的 Spark 集群。我建议首先使用 Linux 机器作为 Mobius 客户端来验证 Mobius 中的基本功能。

  2. Mobius 不需要 Solr。您应该能够使用 Mobius 连接到部署在任何操作系统中的 Cassandra。

  3. load-spark-env.cmd 是 Spark 版本的一部分。您需要在运行 sparkclr-submit.cmd 之前设置 SPARK_HOME 环境变量

于 2016-08-03T00:43:42.607 回答