1

我目前正在从事一个项目,其目标是以动态方式创建抓取工具,然后能够大规模处理大量 url。

例如,我在 DDS 中有两个网站:www.xxx.it与 Scraper IT 相关联,www.xxx.ca与 Scraper CA 相关联。

我想向 DDS 发送无限数量的 url,我希望 xxx.it/* 形式的所有 url 都被 Scraper IT 抓取,所有 xxx.ca/* 形式的 url 都被 Scraper 抓取加利福尼亚州。我希望这由 DDS 自动推断和完成。

有没有办法通过当前的实现来实现这一点?

4

0 回答 0