问题标签 [executors]

我想访问自定义线程池执行程序中的可运行对象内的数据。如果我尝试访问之前/之后的执行方法，我会得到类转换异常。我该如何解决这种情况。

目前，我正在工作中使用期货进行异步线程处理。我希望它的功能类似于“cachedThreadPool”，但也要做这两件事：

1. 每次线程成功完成时增加允许的最大线程数。

2. 如果线程抛出异常或超时，则减少允许的最大线程数。

这可以在自定义中做到ThreadPoolExecutor吗？我不熟悉以这种方式使用 Executors，因此将我指向正确的方向将非常有助于解决这个问题。

所以这是我第一次使用 ScheduledFuture，我承认我在这里可能有点过头了。我似乎无法让下面的示例工作。目标只是采取两组动作，每组动作都有自己的超时时间，然后继续进行下一组动作并无限期地重复。

问题是我不断得到这个输出：

上面引用的 NetworkIO.java:29 行很简单：

想象一下，我们遍历一个集合并提交要在后台运行的任务

程序流程如下：

1. 从某处接收物品
2. 创建处理器并处理它们
3. 将结果发送到某个地方

结果取决于后台处理，所以 p.3 应该等到所有任务都完成。我知道可以通过 and 的组合来实现shutdown()，awaitTermination()但我不想关闭服务。也有可能调用invokeAll(List tasks)，但如您所见，任务是在遍历过程中一一创建的。

如何在给定的限制下实现等待完成？

PS如果不清楚，另一个限制是在遍历项目的同时并行运行后台任务，因为后台任务比基本处理操作多花费x100时间。

我有一个与 Storm 功能相关的问题。假设我有一个 spout，它正在读取一个 csv 文件并逐块发出记录。也就是说，它一次向 Bolt 发出 100 条记录。

我的问题是，当螺栓接收到单个块时，是否会仅将其发送给一个执行器，或者为了并行性而将其分配给不同的执行器。

注意：螺栓有 5 个执行器。

我有以下代码hiveContext.sql()大部分时间都会触发。我的任务是我想创建几个表并在处理完所有配置单元表分区后将值插入。

所以我首先触发show partitions并在 for 循环中使用它的输出，我调用了一些方法来创建表（如果它不存在）并使用hiveContext.sql.

现在，我们不能在执行器hiveContext中执行，所以我必须在驱动程序的 for 循环中执行它，并且应该一个接一个地串行运行。当我在 YARN 集群中提交此 Spark 作业时，几乎所有时间我的执行程序都因为未找到 shuffle 异常而丢失。

现在发生这种情况是因为 YARN 由于内存过载而杀死了我的执行程序。我不明白为什么，因为我为每个配置单元分区都有一个非常小的数据集，但它仍然会导致 YARN 杀死我的执行程序。

以下代码会并行执行所有操作并尝试同时容纳内存中的所有配置单元分区数据吗？

I have a silly problem, I need an ExecutorService (and ForkJoinPool is such a thing) but I don't really want to initialise a new one and keep that reference, I remember a while back running into a JDK class that maintained an static ForkJoinPool for various uses and that could be used by other processes, but I can't seem to find it and there is not that much info about such a thing online. Does any know if such a thing exists ?

我的理解是它看起来与抽象工厂非常相似。

笔记：

执行器接口：

然后有一个包含用于各种实现Executors的静态工厂的类。Executor

这可能是一个疯狂的想法，但我只是把它扔了。

是否可以让一个 Jenkins master 的执行者作为另一个 Jenkins Master 的奴隶（执行者）？

即假设JenkinsMaster1（有10个执行者）。它有一堆从属（在各种操作系统中，每个从属有不同的执行器数），但它们都被使用/运行某些东西。

还有另一个 JenkinsMaster2 并且这个实例具有相同的设置（一组具有 N 个执行器的从属），但是这个实例有一些/很多免费的执行器（在主控上或它的从属上）。

问题不是，如果我需要在 JenkinsMaster1 实例中配置的作业来运行（而 JenkinsMaster1 中的所有其他执行程序/它的从属服务器都在使用中），为什么我不能只为 JenkinsMaster1 创建一个新的从属服务器，或者为什么不添加更多/增加执行程序JenkinsMaster1 的主/从但是 如何/甚至可以使用 JenkinsMaster2 的执行程序（或者它的从属，即 JenkinsMaster2 拥有）来运行在 JenkinsMaster1 上配置的作业。

我想以给定的格式将 ExecutorService 应用于来自 url 的递归读取路径，我很难尝试调用递归 getRecursive(element.attr("abs:href"), level);