1

我刚刚继承了一些 Python 代码，需要尽快修复一个错误。我对Python的了解很少，所以请原谅我的无知。我正在使用urllib2从网页中提取数据。尽管使用socket.setdefaulttimeout(30)了我仍然遇到看似无限期挂起的 URL。

我想暂停提取时间，并且在网上搜索了很多之后已经做到了这一点：

import socket 
socket.setdefaulttimeout(30)

reqdata = urllib2.Request(urltocollect)

    def handler(reqdata):
        ????  reqdata.close() ????


    t = Timer(5.0, handler,[reqdata])
    t.start()
    urldata = urllib2.urlopen(reqdata)
    t.cancel()

处理函数在时间过去后触发，但我不知道如何让它停止 openurl 操作。

任何指导将不胜感激。C

更新 ------------------------- 根据我在某些 URL 上使用的经验， urllib2.urlopen 挂起并无限期地等待。执行此操作的 URL 在被浏览器指向时永远不会解析，浏览器只是等待活动指示器移动但从未完全连接。我怀疑这些 URL 可能会卡在某种无限循环重定向中。urlopen 的 timeout 参数（在更高版本的 Python 中）和 socket.setdefaulttimeout() 全局设置在我的系统上没有检测到这个问题。

我尝试了许多解决方案，但最后我升级到 Python 2.7 并使用了下面 Werner 答案的变体。谢谢维尔纳。

4

2 回答 2

2

它就在函数中。

urllib2.urlopen(url[, data][, timeout])

例如：

urllib2.urlopen("www.google.com", data, 5)
于 2012-02-16T13:47:31.827 回答
2

您可以使用信号来实现这一点。

这是我的信号装饰器的示例，您可以使用它来设置各个函数的超时。

附言。不确定这在 2.4 的语法上是否正确。我使用的是 2.6，但 2.4 支持信号。

import signal
import time

class TimeOutException(Exception):
    pass

def timeout(seconds, *args, **kwargs):
    def fn(f):
        def wrapped_fn(*args, **kwargs):
            signal.signal(signal.SIGALRM, handler)
            signal.alarm(seconds)
            f(*args, **kwargs)
        return wrapped_fn
    return fn

def handler(signum, frame):
    raise TimeOutException("Timeout")

@timeout(5)
def my_function_that_takes_long(time_to_sleep):
    time.sleep(time_to_sleep)

if __name__ == '__main__':
    print 'Calling function that takes 2 seconds'
    try:
        my_function_that_takes_long(2)
    except TimeOutException:
        print 'Timed out'

    print 'Calling function that takes 10 seconds'
    try:
        my_function_that_takes_long(10)
    except TimeOutException:
        print 'Timed out'
于 2012-02-16T15:53:52.627 回答