0

你好开发人员/伙伴。

我正在开发一个使用自然语言处理 (NLP) 将文本转录到开始和结束位置的聊天机器人。它托管在 Heroku 上，我将 Flask 用于 Web 应用程序。我必须通过调用 GET /init 路由（使用我最喜欢的浏览器）来初始化我的 NLP。这个初始化是一个非常耗时的过程，所以我决定把它放在一个 Redis Queue worker 中。

我在这里遵循了本教程：https ://devcenter.heroku.com/articles/python-rq

问题是：我在 heroku 上的网络测功机总是超时，似乎我的 init 没有在工作测功机中启动，而是在网络测功机上启动。

所以我有我的 app.py 文件：

from naturalLanguageProcessing import Nlp
from rq import Queue
from worker import conn
import redis
from flask import Flask
from flask import request
from flask import abort

app = Flask(__name__)

""" Reset the NLP - delete the model & train it again - THIS IS THE TIME CONSUMING FUNCTION """
def resetNlp():
  NLP = Nlp()
  NLP.reset()
  NLP.train()

""" Init chatbot, IA, and others stuff """
@app.route('/init', methods=['GET'])
def init_entry():
  # Create redis queue
  q = Queue(connection=conn)

  # Queue reset nlp
  q.enqueue(resetNlp(), result_ttl=0, job_timeout=3600)

  return 'Chatbot initialized !'

这是我的 worker.py 文件：

import os

import redis
from rq import Worker, Queue, Connection

listen = ['high', 'default', 'low']

redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
conn = redis.from_url(redis_url)

if __name__ == '__main__':
  with Connection(conn):
    print('Launching redis worker...')
    worker = Worker(map(Queue, listen))
    worker.work()

对于我的 Procfile（定义测功机），我有：

web: gunicorn app:app
worker: python -u worker.py

当我继续 /init 时，这是我从我的网络应用程序中得到的响应：

heroku[router] error at=error code=H12 desc="Request timeout" method=GET path="/init" request_id=XXXXXXXXXXXXXXXXXXX fwd="xx.xxxx.xxxxx.xx" dyno=web.1 connect=2ms service=30001ms status=503 bytes=0 protocol=https
app[web] CRITICAL [2020-11-03 19:37:38 +0000] [4] [CRITICAL] WORKER TIMEOUT (pid:18)
app[web] INFO [2020-11-03 19:37:38 +0000] [18] [INFO] Worker exiting (pid: 18)
app[web] INFO [2020-11-03 19:37:38 +0000] [32] [INFO] Booting worker with pid: 32

我应该初始化一个聊天机器人！响应，redis 工作人员继续在 init 过程中进行......

开发者伙伴们，您对如何解决我的问题有什么想法吗？感谢您对未来的帮助:)

4

1 回答 1

1

我想你应该有q.enqueue(resetNlp, result_ttl=0, job_timeout=3600)。所以你传递了一个将要执行的函数。
但是你要做的是 enqueue resetNlp()，它正在有效地执行这个函数，这显然需要足够的时间来评估，以使你的 HTTP 请求超时。

于 2020-11-03T20:23:15.010 回答