perl - 如何使用 Perl LWP 爬取欢迎页面？

Question

我正在尝试使用 Perl LWP 抓取此页面：

http://livingsocial.com/cities/86/deals/138811-hour-long-photo-session-cd-and-more

我有过去能够处理生活社交的代码，但它似乎已经停止工作。基本上，这个想法是抓取页面一次，获取它的 cookie，在 UserAgent 中设置 cookie，然后再抓取两次。通过这样做，您可以通过欢迎页面：

$response = $browser->get($url);
$cookie_jar->extract_cookies($response);  
$browser->cookie_jar($cookie_jar);
$response = $browser->get($url);
$response = $browser->get($url);

这似乎对普通的 LivingSocial 页面停止工作，但似乎仍然适用于 LivinSocialEscapes。例如，：

http://livingsocial.com/escapes/148029-cook-islands-hotel-+-airfare

关于如何通过欢迎页面的任何提示？

Answer 1

看起来此页面仅适用于启用 Javascript 的浏览器（LWP::UserAgent不是）您可以尝试WWW::Mechanize::Firefox：

use WWW::Mechanize::Firefox;
my $mech = WWW::Mechanize::Firefox->new();
$mech->get($url);

请注意，您必须安装 Firefox 和mozrepl扩展才能使该模块正常工作。