问题标签 [pynsq]

什么 我正在使用 4 个消费者从 NSQ 服务器消费消息。我正在尝试调试我看到backing off日志的原因，因为我的消费者在发生这种情况时会放慢速度。

我正在记录异常，那是我返回 aFalse以重新排队消息的时候。我没有看到任何异常被记录，但我一直看到这条消息。帮助！！

代码

此错误发生在pynsq 0.4.2

堆栈跟踪

代码

什么：

有人可以帮助我理解此错误消息的含义。nsqadmin显示很多消息正在重新排队/超时。这些日志可能是原因吗？

我在用pynsq 0.4.2

堆栈跟踪

代码

我在javascript中有以下代码

这是python中的等效版本。

与 javascript 相比，python 版本的运行速度非常快。javascript 版本似乎每 2 分钟处理 1 条消息。而 python 似乎可以在几毫秒内处理。我真的很惊讶这里发生了什么？这是我运行的确切代码，我的队列有很多我确实验证过的消息。任何想法为什么javascript版本真的很慢？

例如，我通过发出以下命令向 NSQ 发送消息：

我发现如果消息处理程序执行时间超过 100 秒，它将抛出并且该消息将超时。

我能做些什么来避免这种超时？

这是我的代码：

谢谢。

So my problem is:

1. I have existing Flask application that has several Celery periodic tasks (so Flask app running and Celery workers for process tasks are running).

Now in our infrastructure appears NSQ and 3rd application that pushes messages to NSQ, so I have to add functionality to existing Flask app that can read those messages from NSQ and do some work (probably create entities in DB or initiate Celery tasks)

2. I looked at pynsq official client, it based on tornado.IOLoop, so it requires that IOLoop is started all time, the example from documentation works well, but I don't have an idea how to run Reader with existing Flask app in one thread.

3. I looked ad gnsq library that based on gevent, it seems possible to start its Reader in separate thread.

So possible ways to do smth I see:

1. Probably run Reader (run_forever) in separate thread, so when Reader founds message - some work I can delegate to callback handler function that starts on_message event.

2. Probably exists way when I can read messages from queue and process it, for example from Celery task, that I run once in 30 sec. But I cannot find how, all libraries I saw provide long-polling way, when Reader starts like infinite loop and reads messages.

3. Make separate application that will be responsible for reading messages from NSQ and re-use some code from existing Flask app in it. (or just make that application like 'portal' from NSQ to my Flask app).

P.S. I've tried to start Reader in thread when Flask app starts, I got some success with gnsq library, its Reader connects to NSQ and on message runs handler's code, but with pynsq that based on IOLoop - when I'm trying to run nsq.run() in thread it fails, seems I cannot to run "pynsq" nsq.run() not in main thread)

Please point me in right direction, I'm stuck a bit how to make it properly.

P.S. Also probably somebody can give me advice of proper way to read messages from NSQ from synchronous code, I mean for example when some code starts in celery task, in that code can I read and process NSQ messages somehow ?

我收到此错误：

但我不知道_DEFAULT_CA_CERTS是什么，也不知道如何解决这个问题。任何想法将不胜感激！

有一个很好的库pynsq，它在里面使用 tornado ，所以例如当我创建简单的 tornado 应用程序时，我可以实例化 nsq.Reader 实例，然后当我启动 tornado 服务器时，这个 nsq.Reader() 实例开始工作。

如果我想使用aiohttp作为 Web 服务器 - 有什么是现代和正确的方式来让 nsq 阅读器在那里？

我正在尝试将“pynsq”包（消息代理服务）用于我的 django 项目。但是当我使用 nsq.Reader() 类通过使用 nsq.run() 命令运行异步消费者请求时，它需要我的主线程和我的代码在此命令未执行之后。

例如：- 如图 nsq.run() 之后的图片所示，我正在尝试打印（“hello”），但是当我运行这个 .py 脚本时，打印函数没有调用。我已尽力为此找到解决方案.

可以在我的 django 项目中使用这个包吗？因为当我在 nsq.run() 之后运行这个脚本时，我的块代码没有执行。

请任何人都可以建议我在我的 django 项目中使用这个包的解决方案。