web-crawler - 在处理分配给它的存储桶中的所有 url 后，我的 spout 线程会在风暴爬虫中保持空闲吗？

Question

1）当数据库中的桶数大于线程数时会发生什么？2）当一个桶中只有一个url但是有10个spout线程时会发生什么......剩下的9个线程会保持空闲状态吗？

Answer 1

您应该将 spout 实例的数量设置为与存储桶的数量相同。如果桶数多于 spout 实例，则只有编号小于或等于实例数的桶才会被查询。

所有的 spout 实例都通过指定桶号向数据库发送查询。如果相应的存储桶包含 URL，这些将被发送到拓扑中，如果没有，则 spout 实例将在短暂的空闲时间后再次尝试查询它。

SQL spout的代码非常简单。