问题标签 [push-queue]

我有一个视频编辑任务需要偶尔完成。这项任务相对密集，因此需要一台功能强大的机器来完成。最多可能需要 10 分钟才能完成。我每天可能会收到 10-20 个这样的请求，尽管将来会增加。

我创建了一个 docker 容器，该容器当前是从PubSub中提取作业的消费者。我想在Google Container Engine上有一个这个容器的实例。然而，据我所知，我需要至少有一个这个（大型/强大/昂贵）容器的实例始终运行，即使它大部分时间都处于空闲状态。因此，在我的使用量增加之前，我运行此服务的成本会过高。

是否有另一种运行容器（GCP 或其他）的方法，我将作业推送到某个服务，然后启动功能强大的机器实例，处理作业，然后关闭？因此，我要为使用的 CPU 小时数付费。

我的应用程序有大量数据需要在用户请求时处理。该脚本最初是在 foreach 循环中组织的，但这会导致 PHP 每次都超时。我开始使用 Redis 队列，但后来我遇到了内存问题。

和

现在我已将队列设置为只有一个进程。它工作得更好，但过了一段时间我又开始出现内存错误。这只是我测试它。一旦用户开始使用它，它就会翻倒。

我分配了 1024MB 的脚本，因为如果我不单独使用它就会耗尽内存。我想知道每次运行脚本以释放内存后是否可以做些什么。像取消设置变量一样？不过，我看不出这有什么帮助，因为脚本结束并由队列工作人员从头开始再次运行。

我正在使用带有 2GB RAM 的流浪机器（Homestead）

更新：

回测从我们执行调度程序开始，历经 10 个联赛和 10 年。

调度员类：

调度程序执行作业：

下面是主脚本的精简版，因为它做了很多事情：

最初数据是从一个 50MB 的 json 文件中提取的。我用硬编码的 PHP 数组（文件大小 100MB）替换了 json 文件。我知道较新的文件更大，但我认为虽然 json_decode 不会加快速度。

我还在脚本末尾删除了一个 db insert，但我更希望它留在里面，因为它会让我的生活更轻松。

有时（似乎是随机的）当我在 GAE 推送队列中安排任务时，任务不会启动并且我收到以下错误消息：

尽管消息“这可能会导致新进程用于 nexr 请求”，但不会尝试重试并且任务永远不会执行。有人知道可能的原因吗？我无法弄清楚代码 140 是哪个错误。（注意：不是 104！）

这是 queue.xml 中的任务配置：

我完成了电子邮件配置并在 oracle apex 页面中完成了电子邮件发送代码，但无法正常发送电子邮件，有时它工作顺利，但突然卡住了，我的电子邮件出现在邮件队列中，谁能指导我不要这个在这个过程中缺少什么？