问题标签 [beanstalkc]

我有一个名为的函数spider，它seed作为参数。seed是我发送给蜘蛛函数的 URL 的名称。现在我的问题是如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业。

我在 Python 中使用 beanstalkc 来为必须解析 URL 列表的程序进行排队。因此，我在 beanstalk 中使用 timeout 来避免任何 URL 消耗大量时间。但即使在使用它之后，我的进程也不会超时，并且需要花费大量时间来解析几个 URL。我正在使用以下代码：

我希望我的一个脚本知道 beanstalkd 中所有剩余的排队作业是否都已完成。

我目前正计划遍历每个作业 ID 并运行 peek() 以查看是否返回任何内容。

有没有更优雅的方法来做到这一点？

我正在使用Python 2.7, beanstalkd serverwith beanstalkc作为客户端库。

处理每个作业大约需要 500 到 1500 毫秒，具体取决于作业的大小。

我有一份cron工作将继续向 beanstalkd 队列添加工作，还有一个“工人”将在无限循环中运行，获取工作并处理它们。

例如：

这导致"timed out"异常。

这是从队列中拉出作业的最佳做法吗？

有人可以帮我吗？

有没有办法在不重新启动 beanstalkd 的情况下重新加载 beanstalkd 配置？

当我使用sudo service beanstalkd restartorsudo service beanstalkd force-reload时，它会清除所有队列。

（是的，将来我会以持久模式运行它）

设置：

• Tornado HTTP/WebSocket 服务器。WebSocketHandler 对来自客户端的消息做出反应（例如，将它们放入作业队列中）
• 将作业发送到不同组件的 beanstalk 作业队列
• 其他一些通过 beanstalk 进行通信的组件，但这些与我的问题无关。

问题：

• WebSocketHandler 应该对作业做出反应，但如果他正在监听 beanstalk，它会阻塞。作业可以是例如“将数据 xy 发送到客户端 xyz”

如何很好地解决这个问题？我的第一种方法是在一个单独的线程中运行一个作业队列侦听器，其中包含一个腌制 WebSocketHandler 的列表。所有内容都应存储在 redis-db 中。由于 WebsocketHandler 不能被腌制（而且这种方法似乎很丑陋），我正在寻找另一种解决方案。

有任何想法吗？

我有一个用例，需要在 beantalk 队列中放置两种不同类型的作业，比如类型 a 和类型 b。每当有新作业到达时，我都会输入一个作业，但是对于 b 类型，我希望一次在队列中应该有一个 b 类型的作业（队列中不应该有两个或多个 b 类型的作业）。当我在队列中插入 B 类作业时，我首先要检查队列中是否已经有任何 B 类作业？如果是，则延迟该作业并且不要插入新作业。如果队列中没有 b 类作业，则插入一个新作业。那么是否可以在 beanstalk 队列中搜索工作？

我非常坚持这一点。我在 Django 中有一个应用程序，它使用 beanstalkd 与 vlcserver 建立连接。Vlcserver 从 IP 摄像机的 rtsp 流中捕获视频，然后将该视频转码为 h264 格式。当我尝试与 beanstalkd 服务器建立连接时，问题就来了。

执行该指令时，出现异常：[errno 111] Connection denied。该端口在防火墙中打开。我不知道我能做些什么来解决这个问题。请帮忙。

先感谢您。

我beanstalkd使用标准作为服务运行/etc/default/beanstalkd。

有时NOT_FOUND，当我尝试删除作业时，我的代码会抛出错误，因为它由于超出了 TTR 而被释放。我想增加插入管中的所有作业的 TTR。

有没有办法为beanstalkd作业设置默认 TTR？beanstalkd我的猜测是我可以在 /etc/default/beanstalkd 中的某个地方更改它，但我在文档中找不到它。

我需要在我的项目中使用 beanstalked。所以我下载了 1.1 版本。我将 beanstalkc 用于 python 客户端。一个简单的生产者-消费者模型。

制片人：

消费者：

但是预约操作被阻塞了很久。有没有人遇到过这个问题？