7

我正在使用 LWP 从网页下载内容,我想限制它等待页面的时间。这是在 lwp 中完成的,如下所示:

my $ua = LWP::UserAgent->new;
$ua->timeout(10);
$ua->get($url);

这很好用,除了超时达到其限制时,它就死了,我无法继续使用脚本!我真的很想正确处理这个超时,以便我可以记录 url 有一个超时,然后继续我的下一个。有谁知道如何做到这一点?谢谢!

4

3 回答 3

16

LWP::Agentget()返回一个HTTP::Response对象,可用于检查错误:

use LWP::Agent;
use HTTP::Status ();

my $ua = LWP::UserAgent->new;
$ua->timeout(10);
my $response = $ua->get($url);

if ($response->is_error) {
    printf "[%d] %s\n", $response->code, $response->message;

    # record the timeout
    if ($response->code == HTTP::Status::HTTP_REQUEST_TIMEOUT) {
        ...
    }
}

顺便说一句,现在更好的做法是使用Try::Tiny而不是eval {...}. 它给你try {...} catch {...}。它解决了一些检查问题if $@(请参阅文档中的背景部分Try::Tiny)。

于 2012-06-12T03:14:00.250 回答
2

对于大多数目的,LWP::UserAgent 的超时时间就足够了,但它确实存在一些缺点……它适用于每个系统调用,而不是它们的聚合。如果你真的需要一个固定的超时时间,这是LWPx::ParanoidAgent需要注意的事情之一。

于 2012-06-12T03:53:48.310 回答
1

您可以使用 eval 块在 Perl 中执行相当于 try{} catch {} 的操作:

http://perldoc.perl.org/functions/eval.html

于 2012-06-12T02:37:18.580 回答