python-2.7 - 我应该从 Mechanise 切换到 Scrapy 还是 BeautifulSoup？

Question

我正在尝试构建一个网络抓取工具来抓取 Google 购物结果。任何想法从哪里开始？我在 python 中使用 mechanize，但我发现它有一些限制。Scrapy 或 BeautifulSoup 会更好吗？

Answer 1

代表 OP 发布。

我发现这篇文章很有帮助：

http://swizec.com/blog/scraping-with-mechanize-and-beautifulsoup/swizec/5039

我从谷歌方面得到了限制。