python - 可以在生产中使用 django-scrapy 应用程序吗

Question

我有很多任务要通过生产服务器上的 scrapy 完成。由于我的经理想要添加或删除要报废的 URL，并且他想要 Web 界面。

我正在考虑为此制作网络应用程序

我找到了这个链接 https://github.com/holgerd77/django-dynamic-scraper/

我只是想知道我可以在生产中使用它还是可以在我的 django 应用程序中手动调用 scrapy 而我不需要使用该应用程序。

Answer 1

我已经尝试过了，对我来说看起来还不错。他们在那里也有很好的文档

如果您是新手并且想让事情顺利进行，它们会很好。但是我认为一旦您详细习惯了scrapy和django，您几乎就不需要它了

Answer 2

Python模块，包括scrapy，大部分时间都是即插即用的，所以是的，你应该能够用scrapy本身来做到这一点。您可能会受益于更清晰的文档。