python - Python：没有管理员权限的无头 Selenium

Question

我在 python 中有一个使用 Selenium webdriver 的爬虫。我想在集群中启动它并让它运行大约 10 天。问题是：

I do not have an X display!!!!

我做了一些搜索和阅读。通常这可以通过使用 Xfvb 和 pyvirtualdisplay 来解决。它尚未安装在集群中。现在又出现了一个问题：

I do not have admin access in clusters!!!!

虽然我可以在 python VE 中安装 pyvirtualdisplay，但我无法运行

sudo apy-get install xvfb

我没有个人桌面。有什么建议吗？

Answer 1

您可以将 phantomjs 连接到 Selenium。

它根本不需要 X 显示http://phantomjs.org/

像这样将它连接到您的硒网格服务器

java -jar selenium-server-standalone-2.33.0.jar -role hub &

#bit flaky if selenium isn't up quietly goes away
sleep 5
phantomjs --webdriver=4001 --webdriver-selenium-grid-hub=http://127.0.0.1:4444 &

要添加更多内容，请在额外端口上添加它们

phantomjs --webdriver=4002 --webdriver-selenium-grid-hub=http://127.0.0.1:4444 &