url - 建立一个 url 队列

Question

哪个更适合在大型网络爬虫中构建 URL 队列。链表还是 B 树？

Answer 1

如果您不需要搜索队列（并且队列通常不需要搜索），那么使用链表。

Answer 2

如果你正在构建一个大型爬虫，你几乎肯定想要使用类似 AMQP 消息队列的东西，很可能是 RabbitMQ。RabbitMQ（和许多其他类似的 MQ）在正常安装的情况下每秒将执行超过 100,000 个事务。我在自己的蜘蛛/爬虫设置中使用它，它就像一个魅力。当然比从头开始构建类似的东西要容易得多。

Answer 3

如果顺序很重要（并且队列很重要），则使用链表。如果你需要搜索队列，那么B-tree。