web-crawler - 是否可以配置storm爬虫在爬取时将host url添加到url路由的前面？

Question

我想抓取这样的网址，这些网址前面没有主机。

<div class=pro-info>
    <a href="/being-human-mens-solid-polo-t-shirt/p-202971521">
</div

我可以使用 Stormcrawler 中的配置文件在这些 url 前面添加 url 的主机部分吗？

Answer 1

在解析过程中，URL 将成为绝对的。获取完整的 URL 应该没有什么特别的事情要做。