问题标签 [mobius]

我正在尝试在我的 Windows 环境中使用 VS2012 以本地调试模式运行一个简单的 spark clr 程序。

请找到我执行的以下步骤，

1. 从以下页面下载 v1.6.100 并解压到我的 D 盘 https://github.com/Microsoft/Mobius/releases

在我的 D 盘中，文件夹如下所示，D:\SparkClr\spark-clr_2.10-1.6.100

2. 设置以下环境变量，
   SPARK_HOME = D:\SparkClr\spark-clr_2.10-1.6.100\runtime
   SPARKCLR_HOME = D:\SparkClr\spark-clr_2.10-1.6.100\runtime
   JAVA_HOME = C:\Program Files \Java\jdk1.8.0_92
   HADOOP_HOME = D:\HadoopDirectory（winutils.exe 存在于 D:\HadoopDirectory\bin 中）

3. 下载的 sparkclr nuget 包

为了在我的本地 VS 程序的 app.config 中设置“CSharpBackendPortNumber”，我需要按照https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app在调试模式下运行.md#调试模式

但是当我从 D:\SparkClr\spark-clr_2.10-1.6.100\runtime\scripts 运行'sparkclr-submit.cmd debug'

我收到以下异常，

你能告诉我我是否遗漏了什么吗？

谢谢

Mobius 1.6 使用以下命令连接 Oracle

[2016-09-29T08:31:24.3019737Z] [MyPCName] [错误] [JvmBridge] java.sql.SQLException: org.apache 的 java.sql.DriverManager.getDriver(DriverManager.java:278) 没有合适的驱动程序。 spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:50)

我使用 --jars 来包含 oracle 驱动程序，但似乎不起作用

有没有一种简单的方法可以将 RDD 转换为 Mobius 中的数据集（或 DataFrame）。基本上类似于 scala 提供的功能

我知道有 sqlContext.CreateDataFrame() 但据我所知，这需要我定义自己的 StructType 才能进行转换。

我正在尝试使用现有（独立）火花集群（在 Ubuntu Linux 上）尝试 C# 驱动程序，我通过 python 或 scala 愉快地与之交互。

我不清楚如何运行一个简单的 c# 示例，已将最新的 Mobius 版本下载到 linux 机器上。我不清楚的是 clr spark 提交所需的这两个额外参数（超出通常需要的参数）。当我尝试按照记录的提交参数进行操作时遇到各种错误（或者我误解了说明）

首先，对于--exe，是直接指向.exe文件还是需要通过；--exe [mono] [my_app.exe] [params] 其次，remote-spark-clr 似乎坚持使用 HDFS 路径，但我在没有 HDFS 的情况下运行 spark。HDFS真的有必要吗？第三，与问题（二）相关，如果为工人分发 exe/包，这些是否也必须在 hdfs 路径中，或者我可以将它们放在“常规”文件系统上的某个合理位置。

简而言之，我正在寻找不需要 HDFS 的确认以及可以在某个位置运行 exe 的简单单行提交示例。可悲的是，我尝试过的组合对我不起作用。

无法建立连接，因为目标机器主动拒绝它 127.0.0.1:some port number

这是我刚刚在 Programe.cs 的控制台应用程序中编写的代码

截图 1 中有例外]：https ://i.stack.imgur.com/FWKQo.png

我正在尝试运行 Mobius HiveDataFrame Example 但无法运行。

我收到错误@

来源：Microsoft.Spark.CSharp.Adapter

消息：JVM 方法执行失败：在没有参数的情况下调用类 14 的非静态方法加载失败

这是堆栈跟踪

我按照此处的说明成功设置了集群。只是想知道我可以通过 API 使用这种类型的集群调用 Spark 吗？请问在哪里可以找到 Spark 端点的详细信息？如果上述教程是死胡同，有人能指出我正确的方向吗？

我的最终 POC 目标是在一些 S3 存储桶中的平面文件（例如 csv）中添加 2 列，并通过 spark 将结果值与第三列进行比较（这不是家庭作业（-:) - 最好像我一样使用 Mobius [前] .net 开发）。

有人可以这么好心并告诉我如何在以下代码中调整 hdfs URI，以便它们与我的本地 spark'cluster' 一起工作吗？

我终于设法让火花在本地运行并启动它（？）使用：

我看到这就像启动一个可以通过 API 使用的服务器程序 - 不确定这是否正确？还是火花大师仍在运行？结果是这样打印出来的：

我可以访问 web ui，但是如何在我的 C# 驱动程序中参数化 sparkcontext 以针对本地 spark 运行。最终目标是在 C# 中运行这个 Scala 代码：

例如，让字数重新写入控制台。任何指针将不胜感激。谢谢！

PS：

看来我必须创建代码的可执行文件，然后使用： sparkclr-submit.cmd 或 sparkclr-submit.sh 来执行它。这个对吗？如果是这样，这意味着我无法在 Visual Studio 中运行/调试代码？！

我正在尝试在总共有 3 个节点的 spark 独立集群上运行 spark 应用程序。

集群上有 3 名工作人员，一个节点中有 4 GB 内存，其余 8 GB 内存。

我正在执行具有不同内核（如 2、3、4、5）的相同应用程序，但执行应用程序的执行时间仍然相同

我正在使用 sparkclr-submit 将应用程序传递给集群

谁能告诉我为什么会这样？

这是 sparkUI 的图像

谢谢。