3

我想要一种快速获取 URL 并在流式传输时解析它的方法。理想情况下，这应该非常快。我选择的语言是 Python。我有一种直觉，扭曲可以做到这一点，但我找不到一个例子。

4

2 回答 2

7

如果您需要以流方式处理 HTTP 响应，有几个选项。

您可以通过以下方式进行downloadPage：

from xml.sax import make_parser
from twisted.web.client import downloadPage

class StreamingXMLParser:
    def __init__(self):
        self._parser = make_parser()

    def write(self, bytes):
        self._parser.feed(bytes)

    def close(self):
        self._parser.feed('', True)

parser = StreamingXMLParser()
d = downloadPage(url, parser)
# d fires when the response is completely received

这是有效的，因为downloadPage将响应主体写入传递给它的类似文件的对象。write在这里，使用和方法传入一个对象close可以满足该要求，但会增量地将数据解析为 XML，而不是将其放在磁盘上。

另一种方法是在HTTPPageGetter级别上挂钩。 HTTPPageGetter是内部使用的协议getPage。

class StreamingXMLParsingHTTPClient(HTTPPageGetter):
    def connectionMade(self):
        HTTPPageGetter.connectionMade(self)
        self._parser = make_parser()

    def handleResponsePart(self, bytes):
        self._parser.feed(bytes)

    def handleResponseEnd(self):
        self._parser.feed('', True)
        self.handleResponse(None) # Whatever you pass to handleResponse will be the result of the Deferred below.

factory = HTTPClientFactory(url)
factory.protocol = StreamingXMLParsingHTTPClient
reactor.connectTCP(host, port, factory)
d = factory.deferred
# d fires when the response is completely received

最后，很快就会有一个新的 HTTP 客户端 API。由于这还不是任何版本的一部分，它不像前两种方法那样直接有用，但它更好一些，所以我将它包括在内，让您了解未来会带来什么。:) 新的 API 允许您指定一个协议来接收响应正文。所以你会做这样的事情：

class StreamingXMLParser(Protocol):
    def __init__(self):
        self.done = Deferred()

    def connectionMade(self):
        self._parser = make_parser()

    def dataReceived(self, bytes):
        self._parser.feed(bytes)

    def connectionLost(self, reason):
        self._parser.feed('', True)
        self.done.callback(None)

from twisted.web.client import Agent
from twisted.internet import reactor

agent = Agent(reactor)
d = agent.request('GET', url, headers, None)
def cbRequest(response):
    # You can look at the response headers here if you like.
    protocol = StreamingXMLParser()
    response.deliverBody(protocol)
    return protocol.done
d.addCallback(cbRequest) # d fires when the response is fully received and parsed
于 2009-11-06T21:16:18.097 回答
0

您只需要解析一个 URL？然后别担心。使用 urllib2 打开连接并将文件句柄传递给 ElementTree。

您可以尝试的变体是使用 ElementTree 的增量解析器或使用 iterparse，但这取决于您的实际需求。有“超快”，但也有“足够快”。

只有当您开始有多个同时连接时，您才应该查看 Twisted 或多线程。

于 2009-11-05T17:33:47.230 回答