1

我正在尝试使用 php curl 代码抓取一个 aspx 页面,其中包含明智的数据页面。最初页面使用 get 方法加载,但当我们选择页面编号时。从下拉它使用 post 方法提交页面页面。

我想通过将 postfields 传递给 curl 来查找特定页面的数据,但无法做到这一点。

我创建了一个虚拟代码来获取第 5 页的记录,但它总是返回第一页的结果。

示例代码

$url = 'http://www.ticketalternative.com/SitePages/Search.aspx?catid=All&pattern=Enter%20Artist%2c%20Team%2c%20or%20Venue';
$file=file_get_contents($url);
//<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value=
preg_match_all("#<input.*?name=\"__VIEWSTATE\".*?value=\"(.*?)\".*?>.*?<input.*?name=\"__EVENTVALIDATION\".*?value=\"(.*?)\".*?>#mis", $file, $arr_viewstate); 
$viewstate = urlencode($arr_viewstate[1][0]);
$eventvalidation = urlencode($arr_viewstate[2][0]); 
$options = array( 
CURLOPT_RETURNTRANSFER => true, // return web page
CURLOPT_HEADER => true, // don't return headers 
CURLOPT_FOLLOWLOCATION => true, // follow redirects 
CURLOPT_ENCODING => "", // handle all encodings 
CURLOPT_USERAGENT => "spider", // who am i 
CURLOPT_AUTOREFERER => true, // set referer on redirect 
CURLOPT_CONNECTTIMEOUT => 120, // timeout on connect 
CURLOPT_TIMEOUT => 1120, // timeout on response 
CURLOPT_MAXREDIRS => 10, // stop after 10 redirects 
CURLOPT_POST => true,
CURLOPT_VERBOSE => true,
CURLOPT_POSTFIELDS => '__EVENTTARGET='.urlencode('ctl00$ContentPlaceHolder1$SearchResults1$SearchResultsGrid$ctl13$ctl05').'&__EVENTARGUMENT='.urlencode('').'&__VIEWSTATE='.$viewstate.'&__EVENTVALIDATION='.$eventvalidation.'&__LASTFOCUS='.urlencode('').'&ctl00$ContentPlaceHolder1$SearchResults1$SearchResultsGrid$ctl13$ctl05=4');
$ch = curl_init($url); 
curl_setopt_array($ch,$options);
$result = curl_exec($ch);
curl_close($ch);

preg_match_all('/<a id=\".*?LinkToVenue\" href=\"(.*?)\">(.*?)<\/a>/ms',$result,$matches);
print_r($matches);

任何人都可以帮我解决这个问题,我哪里错了,我认为它不起作用,因为第一次页面加载使用 GET 方法,当我们继续页面链接时,它使用 post。

我将如何获得特定页码的记录?

问候

4

1 回答 1

-3

有时当客户端需要时,我会在 php 中编写爬虫,但我永远不会尝试使用 php 来爬取 ASP.NET 站点。为此,您需要 perl python 或 ruby​​。这三个都有一个机械化库,通常很容易。

于 2012-04-24T07:48:09.733 回答