问题标签 [eventlet]

我正在用 Python 编写一个相对简单的爬虫，但我想使用异步网络库来同时获取多个页面。我在他们的页面上看到了示例，但是当我应用显示的相同逻辑并适用于约 200 个网页时~1000/2000 url，性能下降。（大多数 url 来自不同的域，我已经将它们洗牌）。用 Eventlet 抓取这么多页面的最快方法是什么？我能得到什么速度？（速度如 fetches/s）

这是示例：

当我使用eventlet包运行多协程任务时，即使协程池为空，程序也不会继续运行，而是会卡在一个循环中。以下是我的代码，最后一行永远不会被执行。

使用 --pool=eventlet 选项运行我的 celery worker 时，我从 amqplib.client_0_8.method_framing.read_method 收到很多“IOError：Socket closed”异常。我还看到来自 eventlet.hubs.hub.switch 的很多超时异常。

我正在使用类似于https://gist.github.com/821848上的 async_manage.py 脚本，运行的作品如下：

这是一个已知问题，还是我的配置或设置有问题？

我正在运行 djcelery 2.2.4、Django 1.3 和 eventlet 0.9.15。

我已经在 python 中构建了我的应用程序（使用来自 eventlent 的 greenthreads），并且我应该使用 Orbited 作为彗星服务器将来自用户端 javascript 代码的请求传递给我的应用程序。

可悲的是，我发现 Orbited 已经死了，网站关闭了几个星期，而且它缺乏 python 2.7 支持。

你能推荐一些好的替代品吗？

我正在尝试构建一个侦听队列（Redis Kombu）的 Python 守护程序。抓取任务并生成一个绿色线程来处理此任务。

我可以毫无问题地接收任务并使用它，但是当我尝试使用 eventlet 生成 GreenThread 时，它似乎根本没有做任何事情。

不打印，不显示日志记录。

有什么我做错了吗？

我有一个过程，需要“稍后”（通常在 10-60 秒后）执行一堆动作。问题是那些“稍后”的操作可能很多（1000 秒），因此使用Thread每个任务是不可行的。我知道gevent和eventlet等工具的存在，但问题之一是该过程使用zeromq进行通信，因此我需要一些集成（eventlet 已经拥有它）。

我想知道的是我的选择是什么？因此，欢迎提出建议，包括库（如果您使用过任何提到的，请分享您的经验）、技术（Python 的“协程”支持、使用一个休眠一段时间并检查队列的线程）、如何利用 zeromq 的 poll 或 eventloop 来完成这项工作，或者其他什么。

我正在尝试以非阻塞方式编写事件，以免减慢我们现有的任何进程。似乎可用的两个选项是：

• 使用 Twisted 的defer对象
• 创建一个 python日志记录处理程序

是否有其他选择。有人有这方面的经验吗？

背景：我们计划将事件写入 Amazon 的CloudWatch服务，我担心执行 PUT 请求的延迟。如果这改变了答案，我实际上并不担心丢失一些 PUT（我们正在编写事件以发出警报，无论如何它们都会在一周后被清除）。

我正在阅读更新的 Python AMQP 库 Puka（不要与 Pika 混淆），并且想知道它处理事件循环的方式是否与 gevent 或 eventlet 兼容。根据我有限的知识，您似乎可以使用 gevent/eventlet 自动修补它。

谢谢！

来源：http: //github.com/majek/puka

文档： http: //majek.github.com/puka/puka.html

我似乎无法使用 Firefox 6 (MozWebSocket) 中更新的 WebSocket 实现连接到 Eventlet 服务器。默认情况下禁用的旧实现只要启用它就可以正常工作。Eventlet 的实现是否与 Firefox 6 使用的更新的 WebSocket 协议不兼容？

在客户端，我在 Firebug 中看到了这一点：

Eventlet 的输出显示如下：

我正在使用 Eventlet 示例文件夹中的 websocket_chat.py 示例进行测试。在 HTML 文件 (websocket_chat.html) 中，我将第 8 行的 javascript 从

至

I'm using eventlet to build a simple website crawler starting from this example. I would like to use SQLAlchemy to store web pages' content and metadata for further processing. It's possible to use SQLAlchemy along with eventlet? Could anyone provide a simple example?