linux - 爬虫服务器端

Question

我对特定的服务器端功能有疑问。

我有一个带有 PostgreSQL 数据库的服务器（Linux）（用 python 开发的服务器端）。我想创建一个系统，它会定期（每天一次……也许是一夜之间）从数据库中删除所有过期信息。

实现这一目标的最佳方法是什么？

将此系统称为“爬虫”是否正确？

Answer 1

我建议您使用crontab进行调度。它是 Linux 环境中调度的事实标准，而且非常灵活。

至于删除..取决于您的确切需求，我认为存储过程可能是要走的路。PostgreSQL 是模块化的，因此您可以使用其内置的脚本语言 ( PL/pgSQL )，但您也可以使用 Python、C、Tcl 和其他支持的语言。

要从控制台在服务器上执行存储过程，您可以使用psql，它是基于 postgres 的系统的基于控制台的客户端。它能够运行作为参数给出的用户命令或从文件中完成脚本而无需用户交互。

我认为“Crawler”用于以自动方式检索数据的应用程序，并且由于您要删除它们，这可能不是调用它的最佳方式。

总结一下：创建一个存储过程来执行您的数据维护（如果这可以通过 SQL 命令实现，那么您甚至不必深入学习 PL/pgSQL）然后在您的 crontab 中使用正确的参数调用 psql 以自动运行它。