问题标签 [task-queue]

在他的 Google I/O 2009“App Engine 上的离线处理：前瞻”演示文稿（视频、幻灯片）中，Brett Slatkin 介绍了任务队列服务。

他说

Pub-sub 系统最大化交易，解耦：

• 每秒大量的小事务
• 具有更改接收器的一对多扇出
• 保证排序、过滤、两阶段提交

并特别强调

我们的新 API 实现了排队，而不是 pub-sub

我只对这些功能的一部分感兴趣：

• 一对多扇出改变选定/固定的内部接收器处理程序
• 保证订购, 过滤, 两阶段提交

目标是简化同一 Web 应用程序的不同模块之间的通知/消息的发布。示例使用场景案例将是：

• 使支付模块知道收到账单。
• 使用户能够跟踪他决定关注/加注的特定域对象的更改。

在任务队列服务之上实现这些的正确方法是什么？

我需要创建一个基于队列的系统，其中多个线程将添加要由队列处理的操作。

听起来很简单，但我的动作将是异步的（带有动画），所以我不想在前一个动作的动画完成之前开始队列中的下一个动作。

我怎么能这样做？

也几乎同步工作；基本上，我想将 Web 应用程序背后的数据访问和处理委托给大多数作业的任务队列。对于 celery 任务，我认为合理的最快延迟是多少？

更新（澄清）

我想为了清楚起见，我应该解释一下吞吐量——虽然不错——对我来说不是一个必要的问题。我暂时还不需要朝那个方向扩展。延迟是我目前要评估的唯一标准。如果这是唯一可行的方法，我task.apply很乐意使用，但我想把工作做得更好。

处理在 Celery 中执行的结果很大的任务的最佳方法是什么？我正在考虑诸如表转储之类的事情，我可能会在其中返回数百兆字节的数据。

我认为将消息塞入结果数据库的幼稚方法在这里不会为我服务，更不用说如果我将 AMQP 用于我的结果后端。但是，我有一些延迟是一个问题；根据导出的特定实例，有时我必须阻塞直到它返回并直接从任务客户端发出导出数据（导出内容的 HTTP 请求进来，它不存在，但必须在响应该请求...无论需要多长时间）

那么，为此编写任务的最佳方式是什么？

在某件事发生之前，任务可以在任务队列中等待多长时间？如果不是永远，那些可能发生的事情是什么？

我可以将大量任务添加到处理率非常低的队列中，并在几天/几周/几个月内处理它们吗？

如果等待轮到他们的时间过长，任务是否会从队列中弹出？

任务队列配额和限制说

我认为这是在谈论将来有意/以编程方式设置 eta，而不是允许任务等待轮到它多长时间。

我有一个非常基本的 PHP 脚本，我用它来发布有趣的链接，我发现这些链接到我网站上的可过滤列表以及我的 rss 提要（当被 ping 时，提要燃烧器也会发推文）。

我想知道的是添加一个“队列”有多难，我可以在其中一次提交多个条目并为每个条目安排未来的时间/日期发布？

类似于Twuffer为 Twitter 或Tumblr和 Wordpress 为博客帖子所做的事情。

这需要cron作业吗？也许用我的 PHP 脚本编写另一个文件'drafts.txt'，如果它是一个未来的帖子 - 以及一个计划的 cron 来检查时间/日期是否 =，然后将它写入其他文件？

我显然是这个新手 - 但我会很感激任何帮助！谢谢！

这是我目前的小脚本：

目前我有任务在后台运行。任务执行完成后，我需要显示输出。如何在 Google App Engine 中执行此操作？

任务完成后，我唯一能做的就是创建另一个应该显示输出的任务，还是有其他方法？

一个队列在仪表板上进入禁用模式，添加到该队列的任务没有被执行。

检查了文档，但找不到与此相关的任何内容。

任何人都可以帮助解决这个问题，队列名称放置在代码的许多部分中，并且无法一键更改。

任何人都可以帮助制定食谱以使队列恢复正常。

我有一个包含多个任务的任务队列。如果我从 Admin Console 中删除特定任务，它会从任务队列中消失，但 GAE 不会终止它。任务仍在后台执行。这是一种常见的行为吗？

有没有办法禁用失败任务的重试选项？在 queue.yaml 中不可能做到这一点

还有其他选项可以禁用重试吗？