问题标签 [apache-spark]

如何配置 Play 使其可以与 Spark 集群一起运行？目前我有一个使用 Play 的 Web 框架，但也连接到 Spark 集群。当我运行时，spark-shell我得到以下信息，这很好：

... ETC。

但是当我尝试运行时，play start我没有收到上述消息（表明我在本地运行 Spark，而不是在集群上）。关于正确配置的任何想法，以使这项工作？

我正在运行一个应用程序，但无法连接到 Spark。以下是相关代码：

相关输出是：

如您所见，它实际上并没有连接到工作人员。但是，如果我只是spark-shell在终端中运行，我会得到：

这里有什么问题？

我计划评估 spark 用于机器学习算法的实现。通常我实现的算法表示为矩阵运算。

我对此有两个问题-

1. 使用Scala spark实现时算法是否应该表示为矩阵运算？
2. 如果是这样，Scala/Spark 是否有好的矩阵库

我所说的矩阵库是指......与 C 对应的 BLAS、Armadillo 等一样强大的东西。

谢谢！阿杰

我正在尝试使用Spark从 Amazon S3 读取数据。但我得到

从 Hadoop 调用内部。我已经尝试下载 jets3t 并将所有包含的 jar 添加到我的类路径中，但它没有帮助。以下是正在发生的事情的完整记录：

我是 Spark 的新手。我能够从http://spark.incubator.apache.org/docs/0.7.3/ec2-scripts.html在 Amazon EC2 上启动、管理和关闭 Spark 集群。

但我无法在集群上添加以下作业。

我创建了一个 SimpleJob.scala 并在我的本地 spark 目录中添加了 spark.examples 包。之后我运行命令：

集群已启动，我可以登录集群。但我不知道如何在 EC2 集群上添加和运行此作业。

我在机器 A 上有一个 Spark master，在另一台机器 B 和 C 上有两个 Spark worker。如果机器 A 由于任何原因出现故障，Spark master 在这种情况下会死掉。

有什么方法可以恢复 Spark Master 或在另一台机器上自动创建新的 Spark Master？

谁能帮我解决这个问题？

提前致谢。

问候， 阿尤什

我有两台机器 A 和 B。我试图在机器 A 上运行 Spark Master，在机器 B 上运行 Spark Worker。我conf/slaves在我的 Spark 目录中设置了机器 B 的主机名。

当我执行start-all.sh启动 master 和 worker 时，我在控制台上收到以下消息：

Master 已启动，但 worker 无法启动。

我已经在我的 Spark 目录中设置xyz@1XX.1XX.X.X了conf/slaves。

谁能帮我解决这个问题？这可能是我缺少任何配置的东西。

但是，当我在同一台机器上创建 Spark Master 和 Worker 时，它工作正常。

我的集群是Spark-0.7.2+ Mesos-0.9。我用python写了一个spark程序，在本地模式下运行良好。但是当我在 mesos 上运行它时发生了一些错误。这是错误信息：

这不是每次都发生。似乎套接字连接不稳定。有人可以建议如何解决这个问题吗？

我想将 Spark 订阅到 ActiveMQ 或 Mosquitto MQTT 代理。我怎样才能做到这一点？

我的系统中有一系列离散事件，我需要根据每个事件的内容应用规则。另外，我想对这些流事件应用复杂的事件处理。

约束 1. 这些规则是用户提供的，并且会动态变化。2. 我不想在应用规则时重新启动系统。3. HA 4. 只有成熟的开源解决方案

可能的方法.. 1. 在风暴螺栓内运行 Esper CEP
2. 在风暴螺栓内运行流口水

• 这会做单事件规则处理以及复杂事件吗？规则更改会要求我的风暴重启吗？

• 我可以动态地将规则插入到风暴螺栓中吗？

其他解决方案？火花？