问题标签 [job-scheduling]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
job-scheduling - 在 LSF 的队列中检查我的作业的位置
有没有办法检查我的工作在LSF队列中的位置?
如果我运行:
bjobs -u all -q my_queue
我从 中的所有用户那里获得了一份工作列表my_queue
,但该列表是否按我的工作在队列中的位置排序?
java - Hadoop 作业调度以及 0.20.203 中具有慢映射器的作业
我正在管理一个在多个用户之间共享的 Hadoop 集群。我们经常使用极其缓慢的映射器运行作业。例如,我们可能有一个 32 GB 的句子文件(每行一个句子),我们想要 NLP 解析(每个句子需要 100 毫秒)。如果块大小为 128 MB,则为 250 个映射器。这填满了我们相当小的集群(每个节点 9 个节点乘以 12 个映射器是 108 个映射器),但每个映射器需要很长时间才能完成(小时)。
问题是,如果集群是空的并且启动了这样的作业,它会使用集群上的所有映射器。然后,如果其他人想要做一个短期工作,它会被阻止几个小时。我知道新版本的 Hadoop 支持公平调度器中的抢占(我们使用的是容量调度器),但新版本也不稳定(我焦急地等待下一个版本)。
曾经有指定映射器数量的选项,但现在JobConf已被弃用(奇怪的是,它在 0.20.205 中没有被弃用)。这将缓解这个问题,因为有了更多的映射器,每个映射任务将在更小的数据集上工作,从而更快地完成。
在 0.20.203 中有没有办法解决这个问题?我是否需要子类化我的 InputFormat(在本例中为 TextInputFormat)?如果是这样,我究竟需要指定什么?
database - 如何从 oracle 的工作中调用两个程序?
我想知道如何从 Oracle 的工作中调用两个过程。我已经像下面提到的那样提到了它,但是我收到了一个错误,例如...
java - 关于使用 ant 脚本跨多个 jvm 部署应用程序
这听起来像是一个愚蠢的问题。在我的应用程序中,我有一个调度程序,用于调度作业和用户交互并监视作业状态的 WEB UI。有一个作业处理机制,它每 5 分钟运行一个线程来检查线程的状态。目前一切都在一个 JVM 下运行。我想在不同的 jvm 中部署调度部分和 web ui 部分,以便在后端调度和启动作业时 web ui 不会陷入困境。
我的问题是 - 我如何在一个 JVM 中部署应用程序的一部分(WEB UI),在另一个 jvm 中部署应用程序的另一部分(调度和运行作业)?
我的另一个问题是关于调度机制的架构。我提出的架构是我们有一个调度程序层和一个 web ui 交互层。从那里我们将作业放入 JMS 队列或 ActiveMQ 中,然后我们有不同的 java 进程(运行不同的 jvm)将从 ActiveMQ 中选择作业并处理它,我们必须确保作业的状态在不同的虚拟机。这个想法有意义吗?如果是这样,那么石英在这里是合适的工具吗?牢记我的要求的替代解决方案是什么?
谢谢!
java - 如何在春季为 ScheduledTimerTask 设置服务器时间?
我们正在使用 ScheduledTimerTask 来管理我们应用程序中的作业(自动)。我们使用以下代码:
通过使用上面的代码runMethod
,每一分钟都可以正常工作。但是我们想根据服务器时间更改执行。例如,如果服务器时间是下午 6 点,那么我们需要调用该函数。如何实现?
帮助将不胜感激。
algorithm - 在异构机器上调度异构任务
我们有 n 个工作和 m 台机器。每个作业 i 都有一个发布时间 r[i]。在机器 j 上处理作业 i 需要 p[i][j] 时间。对于一项工作 k,|{p[i][j] | i == k}| <= c,其中 c << m。我们将作业 i 的延迟定义为 f[i] - r[i],其中 f[i] 是作业 i 完成的时间。系统不是抢占式的,即当一个作业在某台机器上启动时,它在完成之前不能被中断。目标是提供一种调度算法,使所有作业的延迟总和最小化。任何的想法?
php - 是否启用了 cron 作业/计划任务服务?
我正在制作一个需要 cron 作业或计划任务来每周发送电子邮件的网站,但问题是我不知道主机是否支持它......
这个网站是一个机构的,我不能把它放在任何其他主机上......
主机正在使用 Apache。
如果不支持,如何在不更改主机的情况下自动发送每周电子邮件?
编辑
我忘了说我是 cron 工作的新手。
c - 流程调度数学
我有一个程序打印出 'A' 3 次,每次打印之间有 1 秒的延迟。调用这个程序一次需要 2.00 秒。
想象一下,我创建了一个作业调度程序,它执行一个进程 0.5 秒,然后切换到下一个进程(暂时暂停前一个进程,直到它再次到达它)。如果我启动上面提到的程序两次并在这两个进程上运行这个作业调度程序,总共不会需要 4 秒吗?
我已经对此进行了测试,但目前它的计时时间为 2.5 秒。谁能解释一下?
batch-file - 如何在 LAMP 堆栈上运行“作业调度程序”?
我有一个使用 PHP 构建的简单网站。它托管在 Linux 服务器上。
我需要每晚运行一个 PHP 脚本。我该怎么做呢?
“Java 中的开源作业调度程序”能否运行 PHP 脚本?
php - 什么是“MySQL 事件”?
什么是“MySQL 事件”?它的目的是什么?它与“作业调度程序”有何不同?
许多关于 SO 和 MySQL 文档的帖子都描述了如何实现 MySQL 事件,但我只是对它们的目的感兴趣。