8

这是一段网络挖掘脚本。

def printer(q,missing):
    while 1:
        tmpurl=q.get()
        try:
            image=urllib2.urlopen(tmpurl).read()
        except httplib.HTTPException:
            missing.put(tmpurl)
            continue
        wf=open(tmpurl[-35:]+".jpg","wb")
        wf.write(image)
        wf.close()

q是一个Queue()由 Urls 和 `missing 组成的空队列，用于收集错误引发的 url

它由 10 个线程并行运行。

每次我运行这个，我都会得到这个。

  File "C:\Python27\lib\socket.py", line 351, in read
    data = self._sock.recv(rbufsize)
  File "C:\Python27\lib\httplib.py", line 541, in read
    return self._read_chunked(amt)
  File "C:\Python27\lib\httplib.py", line 592, in _read_chunked
    value.append(self._safe_read(amt))
  File "C:\Python27\lib\httplib.py", line 649, in _safe_read
    raise IncompleteRead(''.join(s), amt)
IncompleteRead: IncompleteRead(5274 bytes read, 2918 more expected)

但我确实使用except...我尝试了其他类似的东西

httplib.IncompleteRead
urllib2.URLError

甚至，

image=urllib2.urlopen(tmpurl,timeout=999999).read()

但这些都不起作用..

我怎样才能抓住IncompleteReadand URLError？

4

1 回答 1

0

我认为这个问题的正确答案取决于您认为什么是“引发错误的 URL”。

捕获多个异常的方法

如果您认为任何引发异常的 URL 都应该添加到missing队列中，那么您可以执行以下操作：

try:
    image=urllib2.urlopen(tmpurl).read()
except (httplib.HTTPException, httplib.IncompleteRead, urllib2.URLError):
    missing.put(tmpurl)
    continue

这将捕获这三个异常中的任何一个并将该 url 添加到missing队列中。更简单地说，你可以这样做：

try:
    image=urllib2.urlopen(tmpurl).read()
except:
    missing.put(tmpurl)
    continue

捕获任何异常，但这不被视为 Pythonic，并且可能隐藏代码中的其他可能错误。

如果“引发错误的 URL”是指任何引发httplib.HTTPException错误的 URL，但如果收到其他错误，您仍希望继续处理，那么您可以执行以下操作：

try:
    image=urllib2.urlopen(tmpurl).read()
except httplib.HTTPException:
    missing.put(tmpurl)
    continue
except (httplib.IncompleteRead, urllib2.URLError):
    continue

这只会在missing引发 anhttplib.HTTPException时将 URL 添加到队列中，否则会捕获httplib.IncompleteRead并urllib.URLError防止脚本崩溃。

遍历队列

顺便说一句，while 1循环总是让我有点担心。您应该能够使用以下模式遍历队列内容，尽管您可以继续按照自己的方式进行操作：

for tmpurl in iter(q, "STOP"):
    # rest of your code goes here
    pass

安全地处理文件

另外，除非绝对有必要这样做，否则您应该使用上下文管理器来打开和修改文件。因此，您的三个文件操作行将变为：

with open(tmpurl[-35:]+".jpg","wb") as wf:
    wf.write()

上下文管理器负责关闭文件，即使在写入文件时发生异常也会这样做。

于 2015-10-21T20:34:28.513 回答