我正在尝试使用 celery 创建一个任务管理系统,其中任务是用 phantomjs 编写的。基本上,任务是抓取一个 URL 并返回一个 JSON 对象(任务完成后我将要使用它)。会有一个 URL 列表,每个 URL 都有自己的爬网任务。
我查看了这个http://docs.celeryproject.org/en/latest/userguide/remote-tasks.html#calling-webhook-tasks以用另一种语言实现任务。然而 celery 并没有提供关于如何编写外部 webhook 脚本、需要哪些依赖项以及如何运行的非常好的文档。
任务是否应该简单地存储在我将使用 HTTPCallback 调用的服务器上?它是如何在 PhantomJS 框架中运行的。此处的结果如何存储或返回,我如何跟踪它?我已经阅读了很多文档,但仍然找不到 webhook API 另一端的确切接口或 API。
我意识到我的问题可能不太清楚,所以请告诉我,否则这个 HTTPCallback API 工作流的一些很好的例子将有助于基本理解,以及如何构建不同语言的 webhook 脚本。
任何见解将不胜感激。非常感谢!