database-design - 存储屏幕抓取数据的正确方法是什么？

Question

我在一个网站上工作。它从各种网站上抓取产品详细信息（名称、功能、价格等），进行处理和显示。我正在考虑每天运行更新脚本并保持数据新鲜。

1. 抓取数据
2. 处理它们
3. 存储在数据库中
4. 读取（从数据库）并显示它们

我已经将所有数据存储在 sql 模式中，但我不确定。每次更新后，所有旧记录都将消失。如果抓取的新数据以某种方式损坏，则没有什么可显示的。

那么，有没有什么通用的方法来归档旧数据呢？哪一个更方便：单独的 sql 模式或 xml 文件？或者是其他东西？

Answer 1

我强烈建议将数据放入 MySQL 数据库。将有大量关于如何安全地执行此操作的示例，您可以从他们的数据中控制过去的数据，并在添加的同时显示最新数据。

去源码： http: //php.about.com/od/security/Security_for_PHP_and_MySQL.htm