问题标签 [apache-spark-standalone]

基本上，主节点也充当从节点之一。一旦 master 上的 slave 完成，它就会调用 SparkContext 来停止，因此这个命令会传播到所有在处理过程中停止执行的 slave。

错误登录其中一名工作人员：

信息 SparkHadoopMapRedUtil：尝试_201612061001_0008_m_000005_18112：已提交

INFO 执行者：在阶段 8.0 (TID 18112) 中完成了任务 5.0。2536 字节结果发送到驱动程序

信息 CoarseGrainedExecutorBackend：驱动程序命令关闭

错误 CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERMtdown

我正在尝试在本地模式下运行 Spark 示例，但得到以下堆栈跟踪：

我可以在 GitHub 存储库中看到该类，但它不在 Maven 库中，也不在发行版中（我将发行版与 Hadoop 捆绑在一起） spark-core_2.11-2.0.2.jar。

我试图运行的代码取自 Spark 发行版中的示例，它在 getOrCreate 阶段失败......

我正在使用 spark-submit 提交 java jar 来触发独立集群管理器。但我无法为其提供自定义 log4j.xml 文件。如果我使用 --files 选项，那么我需要将该 log4j 文件复制到同一位置的所有机器，或者如果我使用 hdfs:// 路径提供它，那么它不会将该文件作为 log4j 并切换到默认 log4j 文件。

我还将 -Dlog4j.configuration 与本地和 hdfs 路径一起使用，但与使用 --files 时发生相同的问题。

如果有人知道解决方案，请帮助我

提前致谢。

我有一个任务可以从更多内核中受益，但是当只有一个子集可用时，独立调度程序会启动它。我宁愿在这个任务上使用所有集群核心。

有没有办法告诉调度程序在将资源分配给任务之前完成所有事情？换句话说，如果 DAG 在执行任务之前结束所有路径或等待更多内核可用，则 DAG 会更好地完成这项工作。也许是暗示一项任务很胖的一种方式？我不是也不希望运行 Yarn。

简而言之：我需要在其他空闲集群上运行此地图任务，以便它拥有所有资源/核心。有没有办法做到这一点？即使是一个骇人听闻的答案也将不胜感激。

有任何想法吗？

我已经使用 Spark Streaming 开发了 Streaming 应用程序。当我开始运行我的应用程序时，它正在为 kafka 中的每个主题创建 dstream，然后我正在启动流式上下文。现在我想为在 kafka 中添加的新主题创建 dstream停止我的流媒体上下文。

我正在使用 Spark Standalone 集群管理器。我正在用runDumpJob方法倾倒一个巨大的表格（见下面的代码）。runDumpJob并行启动几个s - 我runDumpJob从不同的线程调用。

问题

有些runDumpJobs 失败并且 Spark 不会自动重新启动。

问题

1. 如何自动重新启动失败的作业？
2. 如何从某个检查点自动恢复失败的工作？

代码

假设您有 Spark + Standalone 集群管理器。您使用一些配置打开了 spark 会话，并希望SomeSparkJob使用不同的参数并行启动 40 次。

问题

1. 如何在工作失败时设置reties数量？
2. 如何在失败时以编程方式重新启动作业？如果作业因缺乏资源而失败，这可能很有用。我可以一一启动所有需要额外资源的工作。
3. 如何在作业失败时重新启动 Spark 应用程序？如果作业即使同时启动也缺乏资源，这可能很有用。比起更改内核、CPU 等配置，我需要在独立集群管理器中重新启动应用程序。

我的解决方法

1）我很确定第一点是可能的，因为它可以在spark local mode。我只是不知道如何在独立模式下做到这一点。
2-3) 可以在 spark 上下文中传递侦听器，例如spark.sparkContext().addSparkListener(new SparkListener() {. 但似乎SparkListener缺乏失败回调。

还有一堆方法文档很差。我从未使用过它们，但也许它们可以帮助解决我的问题。

我正在将播放应用程序提交给 spark 2.1 独立集群。在游戏中还添加了应用程序 postgres 依赖项，并且应用程序在本地 spark 库上工作。但是在独立集群上运行时，它给了我错误：

我已将以下内容放在 spark-defaults.conf 目录中

仍然执行者无法选择驱动程序。我错过了什么吗？需要帮忙 。谢谢。

我想知道 Worker 多久 ping 一次 Master 以检查 Master 的活跃度？或者是主人（资源经理）对工人进行检查以检查他们的活跃度以及是否有任何工人已经死去产卵？还是两者兼而有之？

一些信息：独立集群 1 主 - 8 核 12 Gb 32 工作人员 - 每个 8 核和 8 Gb

我的主要问题 - 这是发生的事情：

Master M - 与 32 个工人一起运行 工人 1 和 2 在 03:55:00 死亡 - 所以现在集群是 30 个工人

工人 1' 在凌晨 03:55:12.000 出现 - 它连接到 M 工人 2' 在凌晨 03:55:16.000 出现 - 它连接到 M

Master M 在 03:56.00 AM 死亡 新的 master NM' 在 03:56:30 AM 出现 Worker 1' 和 2' - 不要连接到 NM 剩余的 30 个 worker 连接到 NM。

所以 NM 现在有 30 名工人。

我想知道为什么即使主 M 肯定死了，这两个也不会连接到新的主 NM。

PS：我为 Master 设置了 LB，这意味着每当有新的 master 进入时，LB 都会开始指向新的 master。

使用 spark 独立集群插入 play 应用程序，它在 dev 模式下运行良好，但是当尝试在生产模式下部署时，它会出现以下错误：

我正在使用 spark-2.1 这里是片段

那么如何在生产模式下在 conf/appliaction.conf 文件中设置 spark master呢？