python - django 应用程序的网络爬虫；我应该用 django 还是单独的脚本编写它

Question

我有 Django 应用程序仅用于一些日常数据的 CRUD。
型号只有价格和日期。

我应该编写一些代码来自动（每天）将新数据插入到我的模型中。

我打算使用BeautifulSoup进行网页解析。

所以我有几个问题：

1. 我打算使用 crontab（使用 crontab -e 手动编辑）将任务设置为每天运行一次。有更聪明的解决方案吗？

2. 我应该使用 Django ORM 还是只在单独的脚本中编写 SQL？

我正在寻找从长远来看更好的建议。我会有更多这样的任务。

谢谢

Answer 1

如果您已经在 Django 中为您的模型构建支持代码，并且将在安装您的应用程序的同一台服务器上运行代码，那么您可能应该使用 Django ORM。

有关开始编写在 Django 应用程序上下文中运行的命令行管理实用程序的帮助，请参阅此页面：

• https://docs.djangoproject.com/en/dev/howto/custom-management-commands/

Answer 2

这个答案更像是一个通用的架构答案......

首先，一切都可以在 django 中完成。

我会设置芹菜和定期任务：http ://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html

对于实际的爬网，您可能需要在链接发现上展开...您也可以仅使用 @task 装饰器来使用 celery。

使用 django:/// 代理启动项目。确定大小后，继续使用 RabbitMQ。