我想尽可能高效地将几个 RSS 提要提取到数据库中。
我的网站每 4 小时会抓取 50 个 RSS 提要 - 我只想将独特的帖子添加到数据库中。我有点坚持如何检查帖子的唯一性。我在想我可以比较 URL 值,当第一篇文章不是唯一的时,我可以跳出循环。
所以我的问题是 - 最好拉出所有帖子并根据数组检查每个提要帖子,直到出现一个重复项(然后中断)。或者最好从每个 RSS 提要中搜索数据库中的第一个帖子 - 然后只将其存储在一个数组中并检查新抓取的帖子。
我想当我在这里时,我不妨问问我是否应该为每个单独的提要创建一个表格。我一次只存储 5 个帖子,所以现在它只有一个表,我只有一个列来标识每个提要。
谢谢。