php - 检查数组中哪些元素不在表中的正确方法

Question

我有一个函数可以下载 PHP 中的链接列表（可以说大约 100 000 个，但不是一次）。仅在尚未下载的情况下才想从这些链接下载数据，因此我需要检查其中哪些不在 MySQL 数据库中。数据库目前包含大约 40 000 条记录。这样做的正确方法是什么？我无法将所有这些链接保存在数组中并与 MySQL 结果进行比较，因为它占用了太多内存。我正在从这些多线程链接（通过叉子）下载信息。如果父级占用 10MB 内存，30 个分叉占用 300MB 等。我尝试分别查询每个链接的数据库，但不久后我与 MySQL 服务器断开连接，并且当我再次尝试连接时（我 ping 连接到检查它是否还活着）并尝试选择数据库它关闭连接并出现错误“

Answer 1

您可以仅为此检查“保存”文本文件中的链接，使用它来比较链接是否已下载要快得多。

看看这个mytxt

Answer 2

这不完全是您问题的答案，但在考虑保存所有找到的结果但将它们存储在以链接为键的关联数组中时可能值得您考虑。这种方式重复将简单地重写以前的版本。

这种方法的优点是您不会“浪费”任何时间进行检查，但缺点可能是，尤其是在处理许多列时，您需要太多时间下载冗余信息。