Scrapy 是一个很好的爬虫，但它缺乏 javascript 支持。
我想要一个开源爬虫，用python写得更好，可以支持javascript执行，有什么建议吗？
问问题
740 次
1 回答
0
试试selenium，它可以直接注入浏览器，支持多种浏览器/WebKit，包括：Firefox、Chrome、IE、Opera、PhantomJS。
注意：
- 推荐使用 Firefox，无需安装额外的 webdriver 即可支持。还有一个强大的插件可以自动生成代码：https
://addons.mozilla.org/en-US/firefox/addon/selenium-ide/ - 完整的网络驱动程序列表可以在： http://selenium-python 找到。 readthedocs.io/api.html
- 可以在以下位置找到代码示例：http: //selenium-python.readthedocs.io/waits.html
于 2015-04-11T16:44:23.870 回答