web - 如何在入口处使用提交表单抓取网页？

Question

我一直在试图弄清楚如何抓取这个页面：sick.com 我想不通。我一直在尝试 Visual Web Ripper，但它没有通过提交表单，因为它不记得 cookie。你有什么想法？Sick.com 同意我提取数据，但他们懒得给我们数据库。

Answer 1

我对 Visual Web Ripper 不太熟悉，但听起来您只需要选择一个替代工具来为您跟踪 cookie。有很多开源工具，比如 scrapy 和 Mechanize。我使用了screen-scraper，它可以很好地跟踪cookie。

也就是说，您还可以确保在使用 Visual Web Ripper 时，您在请求搜索结果之前先请求初始搜索页面。也就是说，初始请求应设置 cookie，然后在发出后续请求时将其传播。