0

有没有办法通过使用 lxml 或 mechanizer 并一起切出漂亮的汤来提高这个脚本的速度？

Python：

import lxml.html as html
import urllib
import urlparse
from BeautifulSoup import BeautifulSoup
import re
import os, sys
print ("downloading and parsing bibles...")
root = html.parse(open('all.html'))
for link in root.findall('//a'):
  url = link.get('href')
  name = urlparse.urlparse(url).path.split('/')[-1]
  dirname = urlparse.urlparse(url).path.split('.')[-1]
  f = urllib.urlopen(url)
  s = f.read()
  if (os.path.isdir(dirname) == 0): 
    os.mkdir(dirname)
  soup = BeautifulSoup(s)
  articleTag = soup.html.body.article
  converted = str(articleTag)
  full_path = os.path.join(dirname, name)
  open(full_path, 'w').write(converted)
  print(name)
print("downloads complete!")

all.html

<a href="http://www.youversion.com/bible/gen.1.nmv-fas">http://www.youversion.com/bible/gen.1.nmv-fas</a>

<a href="http://www.youversion.com/bible/gen.2.nmv-fas">http://www.youversion.com/bible/gen.2.nmv-fas</a>

<a href="http://www.youversion.com/bible/gen.3.nmv-fas">http://www.youversion.com/bible/gen.3.nmv-fas</a>
4

1 回答 1

1

您应该从衡量脚本中真正需要时间的内容开始。优化不慢的东西是浪费你的时间。

它可能是下载，而不是解析。在这种情况下，切换解析器将无济于事。为了加快使用线程（每个下载一个）下载许多文件的速度可能会有所帮助，因为另一个下载可以在第一个完成之前开始。

于 2012-04-25T19:00:09.837 回答