问题标签 [task-queue]

Google 应用引擎任务队列的配置为（示例）

在这里，“桶大小”是什么意思？我在谷歌应用引擎文档中找不到关于此的全面文档。

将其指定为 10 是否意味着如果 100 个任务同时排队，则只有其中的 10 个将被放入队列中，其余的将被忽略？

我刚刚观看了 Google I/O 2010 的 App Engine 会话的批处理数据处理，阅读了Google Research的 MapReduce 文章的部分内容，现在我正在考虑在 Google App Engine 上使用 MapReduce来在 Python 中实现推荐系统。

我更喜欢使用 appengine-mapreduce 而不是 Task Queue API，因为前者提供了对某种类型的所有实例的轻松迭代、自动批处理、自动任务链接等。问题是：我的推荐系统需要计算两个不同模型实例之间的相关性，即两种不同类型的实例。

示例：我有这两个模型：用户和项目。每个都有一个标签列表作为属性。以下是计算用户和项目之间相关性的函数。请注意，calculateCorrelation应该为用户和项目的每个组合调用：

但这calculateCorrelation不是 appengine-mapreduce 中的有效 Mapper，而且这个函数甚至可能与 MapReduce 计算概念不兼容。然而，我需要确定……拥有 appengine-mapreduce 的优势，比如自动批处理和任务链，对我来说真的很棒。

有什么解决办法吗？

我应该定义自己的 InputReader 吗？读取两种不同类型的所有实例的新 InputReader 是否与当前的 appengine-mapreduce 实现兼容？

或者我应该尝试以下方法？

• 将这两种所有实体的所有键两两组合成一个新模型的实例（可能使用 MapReduce）
• 使用映射器对这个新模型的实例进行迭代
• 对于每个实例，使用其中的键来获取不同种类的两个实体并计算它们之间的相关性。

数据存储和任务队列停机时间之间有什么关联？

（我想在数据存储停机的情况下使用任务队列来推迟一些操作。）

我正在使用 celery 进行分布式任务处理。我想在网络主机上部署我的工作，只是为了展示我的项目的工作。那么我怎样才能让 djcelery 使用数据库（sqlalchemy）作为 django 而不是 rabbitmq 或其他 amqp 服务器的后端。

I am using a task (queueing-task) to queue multiple others tasks — fanout. When I try to use Queue.add with task argument being a list of Task instances with more than 5 element's and in transaction… I get this error.

Is there another way to queue more than 5 tasks in a transaction?

Or...

Maybe I don't need a transaction, cause:

1. I don't care if any of those tasks get queued twice anyway, and
2. if queueing will fail for any of them, then the whole queueing-task will be re run.

So tell me how do I queue more than 5 tasks in a transaction or tell me to not use transaction cause I don't really need one.

我有将任务添加到第二个队列的任务队列，而第二个队列被暂停。是否可以将任务添加到暂停的任务队列？

我知道您可以在仪表板或开发服务器控制台中查看当前排队和正在运行的任务。但是，有没有办法以编程方式获取该列表？文档只描述了如何将任务添加到队列中，而不是如何列出和/或取消它们。

请在python中。

我正在使用 GAE 和任务队列。在 queue.yaml 文件中，我保持默认设置：5/s。1 个月前我认为这已经足够了，但现在一个队列中有大约 40-50 个任务，所以我的应用程序运行速度太慢。

我想知道每秒多少个任务就够了？我可以更改为 100/s 吗？

谢谢 ：）

更新：

我的应用程序从一些社交网络获取数据，计算并保存到数据存储区。为了超过 30 秒的 GAE，我将此操作拆分为任务。我想在更改和部署到 GAE 之前知道 GAE 任务队列的限制 :)

我可以使用任务队列来更改数据库值，但是如何使用任务队列获得像 Ajax 一样的返回值？

这是我的代码：

我怎样才能显示'sss'？

为什么 Google App Engine 任务可以多次执行？根据来自 Google I/O 2009 的 Brett Slatkin 的谈话，即使没有服务器故障，任务也有可能虚假运行两次！

这与线程的虚假唤醒有关吗？