问题标签 [executors]

我确信我们可以广播变量的值，但我不确定如何跨执行程序广播在驱动程序中创建的对象。我正在为我的 Scala 程序中的第三方 Java 类创建一个对象。我想将类的同一个实例共享给所有执行者，而不是创建多个对象。

我发现广播方法可用于广播变量的值。但我不知道这是否可以用于广播对象。请发表您的建议

我有詹金斯大师和 4 个执行者。是否可以在所有 4 个 Executor 中并行运行我的构建。我试过 NodeLabelParameter 插件。但是我的构建只在一个执行器中运行。（使用这个插件我可以选择任意数量的节点，但我只有主节点）我想知道，如何在所有 4 个执行器中并行运行我的构建？请帮我解决这个问题。

我正在使用 Throttle 并发插件在 Jenkins 中进行并行执行。我有一个带有 4 个执行程序的主 jenkins 节点。现在我想并行运行我的构建，我已经为构建配置了并发构建数：0 和每个节点的执行器数：3，当我构建它时..它不是并行执行，只触发了一个构建。请帮我解决这个问题。选中的选项：詹金斯中的“必要时执行并发构建”用于此作业

我试图学习 Executors 并且有疑问。

假设我有 2 个 Runnable 对象Socket1Write并且Socket2Write有一个 run 方法。运行方法有一个无限循环，它将数据写入 TCP 套接字。套接字是两个类的通用套接字。但是当我调用两个线程时，Executor只使用一个被调用和处理，即第一个Runnable总是被拾取。

以下是我尝试过的方法。

据我了解，执行者应该选择需要执行的每个线程。我在这里还缺少什么吗？

提前致谢

我是 android 编程新手，但我有一些以前的 java 经验。我正在研究一个从大书呆子牧场指南到 android 编程的项目。因为我缺乏使用 android 的经验，所以我在学习时几乎是在复制代码，而不是试图用它来发挥创意。但是，我在犯罪意图应用程序中达到了一个点，每次单击 RecyclerView 中的项目时，我的应用程序都会崩溃。我在网上搜索并发现了其他类似的问题，但他们并没有帮助我解决这个问题。正如我所说，我是 android 和附加功能、意图和所有这些方面的新手。谁能帮我找出原因以及如何解决？我正在发布我的一些代码以及异常堆栈跟踪。这是包含回收器视图的列表片段：

  这是应该在点击时启动的活动的类：

这是 CrimeLab 类的代码：

这是我的 Exeptions 堆栈跟踪，它是从我在 CrimeHolders onClick() 中的 try/catch 块中记录的：

在此先感谢您的帮助。

这是应用程序唯一的日志。不确定这是否有帮助：

好的，这就是我现在的堆栈跟踪：

在调用子可调用线程的 get 方法之前，我在程序下面运行，主线程首先完成。

输出是

我的期望是 get() 可能返回 null，因为 TThread 线程比 get() 调用更早完成。这是否意味着无论调用者是否调用 get()，Java 都会维护 callable 的结果。也有人可以解释一下，Java如何实现这样的未来任务。

我有一个要求，我使用 DStream 从 Kafka 检索消息。现在在获取消息或 RDD 之后，我现在使用映射操作在执行程序上独立处理消息。我面临的一个挑战是我需要从执行程序中读取/写入配置单元表，为此我需要访问 SQLContext。但据我所知，SparkSession 仅在驱动程序端可用，不应在执行程序中使用。现在没有 spark 会话（在 spark 2.1.1 中），我无法掌握 SQLContext。总结一下我的驱动程序代码如下所示：

所以在这个 rdd.map 之后，下一个代码在 executors 上执行，我有类似的东西：

传递 sparksession 或 sqlcontext 在执行器上使用时会出错：

• 当我尝试获取现有的 sparksession 时：org.apache.spark.SparkException: A master URL must be set in your configuration

• 当我广播会话变量时：User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 9, <server>, executor 2): java.lang.NullPointerException

• 当我通过 sparksession 对象时：User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 9, <server>, executor 2): java.lang.NullPointerException

如果您可以建议如何从执行程序中查询/更新配置单元表，请告诉我。

谢谢，里特威克

我在 pyspark 上运行一个应用程序。对于这个应用程序，下面是执行者分布的快照。它看起来像非均匀分布。有人可以看看并告诉问题出在哪里。

描述和我的问题：-

我在大量数据上运行我的应用程序，其中我正在过滤和加入 3 个数据集。之后，我缓存连接的数据集以生成和聚合不同时间段的特征（意味着我的缓存数据集在循环中生成特征）。在此之后，我尝试将这些功能存储在 partquet 文件中。这个 parquet 文件占用了太多时间。

任何人都可以帮我解决这个问题吗？如果您需要更多信息，请告诉我。

我尝试使用 newSingleThreadScheduledExecutor 安排一个执行器，它在 10 天（从系统初始化开始）、20 天（从系统初始化开始）和每个月的 1 天后发送报告。我尝试使用每天运行的 newSingleThreadScheduledExecutor 并检查今天是否在 10 天之后.. 20 天等等。但是，我认为我们有一个更优雅的方法来解决这个问题。您知道如何改进我的代码吗？

调度器：

在 createReport 函数上 - 我检查日期。

谢谢！

我有一个 jenkins 设置，有 1 个主设备和 4 个从设备。每个从站都致力于构建特定的东西（iOS、Android 等）。其中一个奴隶专门从事几项工作，每项工作大约需要一个小时才能运行。从站配置了 4 个执行器，两个作业的权重分别为 3。我理解这可以确保一次只有一个作业会在从站上运行。

但是，如果我将 slave 配置为具有 1 个执行器并为每个作业赋予 1 的权重，会有所不同吗？这是在此从站上运行的仅有的两个作业。更多的执行者/权重是否意味着更多的 CPU 资源用于这项工作？如果只有 1 个 executor 并且作业权重为 1，是否会增加构建所需的时间？