问题标签 [workload]

在我的项目中，整个搜索和内容列表都依赖于 Lucene。我没有遇到任何性能问题。尽管如此，该项目仍处于开发阶段，距离生产还有很长的路要走。

我必须在大型结构完成项目之前找出性能问题。过度使用lucene是否可行？

我在这里遇到一种情况，我需要将工作分配给在不同 JVM 中运行的多个 JAVA 进程，可能是不同的机器。

假设我有一个记录 1 到 1000 的表。我正在寻找要收集和分发的工作是 10 组。假设记录 1-10 到 workerOne。然后将 11-20 记录到 workerThree。等等等等。毋庸置疑，workerOne 永远不会做 workerTwo 的工作，除非且直到 workerTwo 无法做到。

这个例子纯粹基于数据库，但可以扩展到任何系统，我相信它是文件处理、电子邮件处理等等。

我有一种小小的感觉，即立即的反应是采用 Master/Worker 方法。然而，这里我们谈论的是不同的 JVM。即使一个 JVM 出现故障，另一个 JVM 也应该继续工作。

现在百万美元的问题是：是否有任何好的框架（生产就绪）可以让我有能力做到这一点。即使有特定需求的具体实现，如数据库记录、文件处理、电子邮件处理等。

我已经看过 Java Parallel Execution Framework，但不确定它是否可以用于不同的 JVM，如果其中一个掉下来，另一个是否会继续运行。我相信 Workers 可以在多个 JVM 上，但是 Master 呢？

更多信息 1：由于 JDK 1.6 的要求，Hadoop 会成为一个问题。这有点过分了。

谢谢，富兰克林

我正在构建一个后台处理引擎，它支持丢弃待处理和正在处理的项目。这适用于需要对某些输入元素进行大量处理的 winforms 应用程序，因此我正在构建一个队列引擎，我可以在其中将工作负载项排入队列，当它们被处理时，我会收到结果通知。

问题是，这个队列开始时几乎总是包含很多项目，我认为与其将所有内容都转储到线程池，不如只将前 N 个项目放入线程池，并在它们出现时继续回填处理。我想这样做的原因是，一旦我将它们转储到线程池中，它们就会被处理，即使它们被标记为丢弃，它们仍然会占用队列时间。

通过我所做的回填实现，如果项目被丢弃，我可以从队列中删除它们，并且只有在轮到它们时才将它们放入队列中，可以这么说。

所以问题是，我将如何计算这个数字 N，即要放入并保留在线程池队列中的项目数。

我考虑过的问题：

• 我可能想将 2 * 数量的处理器排入队列，我看到这是典型的项目数，以确保所有处理器都在工作
• 但是，如果某些项目的实际处理速度非常快（可能会发生），那么线程池中的队列在我自己的类可以回填更多工作之前就已经耗尽，所以也许我想要一个更大的数字以避免未充分利用处理器
• 我是否应该创建一些自动调整例程来根据每个项目的当前时间计算最佳数字，这样如果它们都超快，数字会高得多，如果处理需要一些时间，它应该保留低的？

你怎么看？

新：好的，由于答案之一，我将解释更多。放入队列的每个项目都由独特的东西键入。如果我使用与现有项目相同的键将另一个项目转储到队列中，则该旧项目被视为“丢弃”，应该被删除。如果正在处理项目，则工作负载项目上的属性设置为 true，即“IsDicarded”属性，处理方法负责调用该属性。如果它检测到丢弃的项目，它应该提前退出，不返回任何结果。

也许我应该做更多的试验，并尝试将所有内容都转储到线程池中。

新问题：我可以排队的物品数量有限制吗？如果没有，那么这将很容易简化我的课程。

注意：当我说“冗长的处理”时，我的意思是大约 1-10 秒。线程池甚至是最好的吗？我在网上看到关于“处理应该快速”的注释，但从未提及“快速”是什么。这里是毫秒级的快吗？

嘿伙计们，我想在服务器上生成一个恒定的工作负载——所以它在我的节点上使用了一定数量的 CPU。我尝试在脚本中通过循环“n”次重复获取我的 webapp 的主页来执行此操作。但是，这不会产生恒定的工作量，而是工作量不断变化。有没有办法通过编写某种脚本来使用 wget 生成恒定的工作量？我可以使用“wget”编写什么样的脚本？

谢谢你的帮助！！

我目前在 hadoop 中使用 wordcount 应用程序作为基准。我发现 CPU 使用率几乎保持在 80-90% 左右。我想有一个波动的CPU使用率。是否有任何 hadoop 应用程序可以为我提供此功能？非常感谢。

I have been spending some time on Google looking for a queuing / load balancer package for R.

What I am trying to achieve:

• executing multiple independant from eachother R functions from remote front ends
• taking advantage of 2 dual-core servers as R backend

Knowing that:

• each functions is usually processed in 10 to 30 seconds
• every 5 min on average (but it can at the same time) a set of 8-15 functions to be executed is being sent to the backend (queued for processing: first in first out). The 5 min is an average, several sets can be sent at the same time as well
• the 2x2 R instance would already be running, with the required packages loaded, they are always the same, so no need to re-load them all the time
• input amount of data being transfered is very low: 50k max

There is no code parallelization subject here (snow, snowfall foreach, condor and other traditionnal cluster solutions)

Would you know a good package/tool designed for R which could help ?

Thanks a lot !

我正在寻找一种 Linux 工具来生成具有预定义 cpu、磁盘和网络利用率的工作负载。例如，我需要在 Ubuntu 工作站上将 CPU 利用率保持在 55%，磁盘利用率保持在 30% 一分钟。是否有任何工具可以为 cpu、磁盘和网络生成此类工作负载？

ps 最好有一个工具来完成上述所有功能。但是，如果有不同的 cpu、disk 和 net 工具，如果你能分享链接，我会很高兴。

我必须编写一个程序（perl、python 或 java）来模拟我们服务器上的工作负载，这样它就需要 2 个参数：

1. 记忆

2. 时间

并且基于这些参数，它应该启动一个进程，在指定的时间内消耗指定的内存量。内存的最大值可以高达 50-100GB，时间可以高达 12-24 小时。

我不能使用 fork 或多线程，这个过程应该是一个单线程并且应该不断地进行操作（比如整数/浮点等）。我也不想做任何 I/O 操作。

我能想到的最简单的方法是：

请让我知道是否有更好的方法来做到这一点。

谢谢，

阿米特

这个问题是Count days per year的后续问题。

我按照 Dirk 的建议做了一个巨大的 data.frame。我的命令如下所示：

现在，这些命令填满了我的 8 GB 内存和 2 GB 交换空间。与此同时，我的处理器很无聊，处理器负载可能只有 15%。

此外，我的电脑需要很长时间才能满足我的“愿望”。我可以将一些工作转移到 CPU 上并减轻我的 Ram 的负担吗？

是否有任何工具可以将 Autosys（又名：CA Workload Automation）组件显示为显示作业/框之间依赖关系的图表？我听说过依赖关系图，但它似乎没有显示作业的执行状态。是否有任何其他工具、CA 或第三方？

谢谢安德鲁