2

无法建立连接，因为目标机器主动拒绝它 127.0.0.1:some port number

这是我刚刚在 Programe.cs 的控制台应用程序中编写的代码

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.Spark.CSharp.Core;

namespace DemoSpark
{
class Program
{
    static void Main(string[] args)
    {
        var Sparkcontext = new SparkContext(new SparkConf().SetAppName("Demo"));
        Sparkcontext.Stop();
        Console.WriteLine("Done");
    }
}
}

截图 1 中有例外]：https ://i.stack.imgur.com/FWKQo.png

4

1 回答 1

4

您不能直接运行可执行的 Programe.cs。相反，它应该提交到您的火花集群。首先，您必须将环境设置为指向 Mobius 源或发布目录：

set SPARKCLR_EXT_JARS=C:\Code\Mobius\build\localmode\..\runtime\dependencies\spark-csv_2.10-1.4.0.jar,C:\Code\Mobius\build\localmode\..\runtime\dependencies\commons-csv-1.4.jar
set SPARKCLR_HOME=C:\Code\Mobius\build\localmode\..\runtime
set SPARK_HOME=C:\Code\Mobius\build\localmode\..\tools\spark-2.0.2-bin-hadoop2.6
set "JAVA_HOME=C:\Program Files\Java\jdk1.8.0_66"
set HADOOP_HOME=C:\Code\Mobius\build\localmode\..\tools\winutils

接下来，您需要将可执行文件提交给 spark。以下是在本地模式下运行示例的示例：

C:\Code\Mobius\build\runtime\scripts\sparkclr-submit.cmd --jars %SPARKCLR_EXT_JARS% --conf spark.sql.warehouse.dir=C:\Tests --exe SparkCLRSamples.exe C:\Code\Mobius\build\runtime\samples --temp C:\Temp --data C:\Data\Mobius

请记住，--exe火花工作者使用该选项之后的任何内容来调用可执行文件，包括命令行参数。

有关其他集群选项，请参阅文档。

于 2017-03-19T16:46:42.290 回答