php - 检测新链接并将它们添加到数据库

Question

我fetch是一个页面，用于查找和收集它的一些链接（使用arrays），并将它们添加到数据库中。当“重新获取”源页面时，它可能有新的链接。我怎样才能避免插入旧链接到数据库而只添加新链接？

一个想法可以是在数据库中搜索每个获取的链接并避免插入双重链接，但它在大数据库中使用大量资源。

Answer 1

您可以使用以下命令在表中使字段 'url' uniq：

ALTER IGNORE TABLE mytbl ADD UNIQUE (columnName);

然后遍历每个链接并添加它们，如果该字段存在 mysql 并拒绝它。

如果您有权访问要报废的页面，则可以添加一个类，说明您何时已经通过此 url。然后只查找没有此类的链接。

Answer 2

您可以使用链接信息在数据库中添加以 MD5（16 字节）或 SHA-1（30 字节）等算法计算的哈希值，以检查哈希值是否存在。