5

我有一个包含 160.000 多个 url 的文件，我想从其中抓取一些信息。脚本大致如下所示：

htmlfile = urllib2.urlopen(line)
htmltext = htmlfile.read()
regexName = '"></a>(.+?)</dd><dt>'
patternName = re.compile(regexName)
name = re.findall(patternName,htmltext)
if name:
   text = name[0]
else:
   text = 'unknown'

nf.write(text)

哪个有效，但非常非常慢。刮掉所有 160.000 页需要四天多的时间。有什么建议可以加快速度吗？

4

1 回答 1

3

关于您的代码的一些建议：

当您编译正则表达式模式时，请确保您还使用了编译后的对象。并避免在每个处理循环中编译您的正则表达式。

pattern = re.compile('"></a>(.+?)</dd><dt>')
# ...
links = pattern.findall(html)

如果您想避免使用其他框架，最好的解决方案是加快速度，因此请使用标准线程库以使多个 HTTP 连接并行进行。

像这样的东西：

from Queue import Queue
from threading import Thread

import urllib2
import re

# Work queue where you push the URLs onto - size 100
url_queue = Queue(10)
pattern = re.compile('"></a>(.+?)</dd><dt>')

def worker():
    '''Gets the next url from the queue and processes it'''
    while True:
        url = url_queue.get()
        print url
        html = urllib2.urlopen(url).read()
        print html[:10]
        links = pattern.findall(html)
        if len(links) > 0:
            print links
        url_queue.task_done()

# Start a pool of 20 workers
for i in xrange(20):
     t = Thread(target=worker)
     t.daemon = True
     t.start()

# Change this to read your links and queue them for processing
for url in xrange(100):
    url_queue.put("http://www.ravn.co.uk")

# Block until everything is finished.
url_queue.join()
于 2013-06-17T17:21:26.827 回答