javascript - 你如何将 html 传递给 Selenium

Question

我有一个网络爬虫，我想将它检索到的 html+javascript 传递给 selenium，这可能吗？为了澄清我不想使用 webdriver.get 来检索带有 selenium 的页面，因为我的爬虫更快。

Answer 1

我最终在 xvfb 服务器上使用 PyQt4 抓取网页，因为我使用的是 x11 不附带的亚马逊 ec2。下面的代码加载包含 JavaScript 的网页，并在返回 html 之前等待 7 秒，因此所有 JavaScript 都将完成加载。

import sys
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *
from xvfbwrapper import Xvfb

class Render(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.timerScreen = QTimer()
        self.timerScreen.setInterval(7000)
        self.timerScreen.setSingleShot(True)
        self.timerScreen.timeout.connect(self.getHtml)
        self.loadFinished.connect(self.timerScreen.start)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()
    def getHtml(self):
        self.frame = self.mainFrame()
        self.app.quit()
args = {"nolisten":"tcp"}
vdisplay = Xvfb(**args)
vdisplay.start()
url = 'url here'
r = Render(url)
html = r.frame.toHtml()
print html
f = open("./test.html","wb")
f.write(html.__str__().encode("utf-8"))
f.close()
#stri = str(html).encode("utf-8")
vdisplay.stop()