1

我使用 PyQt4 编写了一个 python 脚本来抓取包括 AJAX 在内的网页。它有效，但它只能获得我认为与屏幕分辨率有关的“单屏”页面。我在没有 X 环境的 CentOS 服务器上运行脚本。我使用Xvfb并进行以下设置：

$ Xvfb :100 -screen 0 9000x9000x24 &
$ export DISPLAY=:100

但它并没有帮助获得更多的网络信息。

我是 PyQt4 的新手。有没有办法设置QWebView大小来放大显示窗口大小？

任何有关 QtWebkit 的手册也值得赞赏。

以下是我的代码：

#!/usr/bin/env python
#coding: utf-8


import sys

from PyQt4.QtCore import QUrl, SIGNAL, QSize
from PyQt4.QtGui import QApplication
from PyQt4.QtWebKit import QWebPage, QWebView, QWebSettings

class WebPage(QWebPage):

    def javaScriptConsoleMessage(self, message, lineNumber, sourceID):
        sys.stderr.write('Javascritp error at line number %d\n' % (lineNumber))
        sys.stderr.write('%s\n' % (message, ))
        sys.stderr.write('Source ID: %s\n' % (sourceID, ))


class Crawler(QApplication):

    def __init__(self, url):
        super(Crawler, self).__init__(sys.argv)
        self.url = url
        self.web_view = QWebView()
        self.web_page = WebPage()
        self.web_view.setPage(self.web_page)
        self.web_frame = self.web_page.currentFrame()

        print 'Before connecting'
        self.connect(self.web_view, SIGNAL('loadFinished(bool)'), self.loadFinished)
        print 'After connecting'

        print 'Before loading'
        self.web_frame.load(QUrl(self.url))
        print 'After loading'

    def loadFinished(self, ok):
        self.web_page.setViewportSize(self.web_page.mainFrame().contentsSize())
        print 'In callback, before writing'
        with open('jd.txt', 'ab+') as fp:
            fp.write(self.web_page.currentFrame().toHtml().toUtf8())
        print 'In callback, after writing'


if __name__ == '__main__':
    url = 'http://www.360buy.com/product/707047.html'
    crawler = Crawler(url)
    sys.exit(crawler.exec_())
4

1 回答 1

0

您可以使用 setViewportSize 方法将 web_page 调整为实际大小：

self.web_page.setViewportSize(self.web_page.mainFrame().contentsSize())

发出 loadFinished 后触发滚动事件：

def loadFinished(self, ok):
    js_scroll = "window.scrollBy(0, 200);"
    self.web_page.mainFrame().documentElement().evaluateJavaScript(js_scroll)

虽然我不确定您正在加载的页面实际上是如何工作的，但您可能需要等到滚动事件之后的 ajax 请求完成，数据才会出现在页面上。

于 2012-10-15T11:25:30.707 回答