python - 为什么我的基于 Python 的 Selenium PhantomJS 网络爬虫无法访问网络？

Question

我试图让这个简单的代码到达互联网。我在代理服务器后面，但我已经设置了我的 http_proxy、https_proxy 和 no_proxy 环境变量。

Python代码：

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get('http://www.google.com')
driver.page_source

输出：

u'<html><head><title> Web Authentication Redirect</title><meta http-equiv="Cache-control" content="no-cache"><meta http-equiv="Pragma" content="no-cache"><meta http-equiv="Expires" content="-1"><meta http-equiv="refresh" content="1; URL=https://1.1.1.1/login.html?redirect=www.google.com/"></head><body>\n</body></html>'

关于如何解决这个问题的任何想法？

另外，我在 Ubuntu 12.04 LTS 上。

score 0 · Accepted Answer

看起来您网络上的某些东西会自行加载，然后立即将您重定向到您想去的地方。我认为您只需要在获取页面源之前遵循重定向即可。

请参阅在网站上获取 JavaScript 重定向的最终目的地，等待 selemium 遵循重定向。

score 0 · Accepted Answer

如果它是您登陆页面的页面，然后它会重定向您（也就是等待问题），那么您可以尝试wait.until(ExpectedConditions.titleIs("Google"))

注意：这是 Java 代码，但转换起来应该不会太难。 wait是一个实例WebDriverWait

python - 为什么我的基于 Python 的 Selenium PhantomJS 网络爬虫无法访问网络？

2 回答 2

Related

Reference