python - 从网站自动收集数据到我的数据库？

Question

我有一个基于 Django 的网站，使用 Webfaction 上托管的 PostgreSQL 数据库。我通常从另一个网站手动收集我的数据库的数据（复制粘贴到文本文件中），该网站在 HTML 表中列出了单个网页上的所有数据。

至于用 Python 自动收集数据，我猜我应该使用 html5lib 或 Scrapy 之类的东西来编写一个脚本来加载网页，找到我想要的 HTML 表，从中提取数据，将其格式化为 JSON ，然后使用

manage.py loaddata fixturename.json

将我的数据加载到我的数据库中。不过，我的问题是，如何让这个脚本每天在 Webfaction 的服务器上自动运行一次？

score 3 · Accepted Answer

您可以使用cron来安排任务。

您的 crontab 文件可能如下所示：

# Minute   Hour   Day of Month       Month          Day of Week        Command    
# (0-59)  (0-23)     (1-31)    (1-12 or Jan-Dec)  (0-6 or Sun-Sat)                
    0        1          *             *               *           /usr/bin/python manage.py loaddata fixturename.json

（或者你可以用@daily /usr/bin/python manage.py loaddata fixturename.json每晚午夜跑步）

请参阅 webfaction 文档：http ://docs.webfaction.com/software/general.html#scheduling-tasks-with-cron