java - 在Java中，有一个集合，我只能在一段时间后获取一个元素？

Question

我正在做一个网络爬虫，我不想让服务器的请求超载，所以我会按时间限制对服务器的访问。

我将有一个对象/集合，它是我将访问的链接列表。

我得到第一个链接，它来自谷歌（示例），访问并完成所有工作。我只能在 20 秒后获取另一个来自 Google 的链接（示例），而在等待时，我会从其他域获取链接。

总而言之，我需要一个集合，允许我对其中的对象进行分类，并以确定的间隔从中获取对象。

有没有类似的？如果不是，建议在实现中使用哪些集合？这个集合将被各种线程访问。

Answer 1

您可以为此使用延迟队列。这是一个并发集合，仅允许在“过期”后从中取出项目。您添加的项目必须实现Delayed。

您可能还只想使用ScheduledExecutorService。例如，对于您正在抓取的每个域，您可以安排一个抓取下一个链接的任务，然后使用下一个链接重新安排另一个任务。