16

我想废弃一个网页,其中包含带有地址、电子邮件等的用户列表。网页包含带有分页的用户列表,即当我单击第 2 页链接时,页面包含 10 个用户,它将通过 AJAX 加载用户列表表单第 2 页并更新列表,所以打开所有分页链接。

网站是在扩展名为 .aspx 的 asp ie 页面中开发的,因为我对 asp.net 以及 asp 如何管理分页和 AJAX 一无所知

我正在使用简单的 html dom http://sourceforge.net/projects/simplehtmldom/来废弃包含

对于有用户的页面,<=10 我不必像用户单击分页链接时那样模拟 AJAX 请求

但是对于具有分页以从其他页面获取数据的页面,我正在模拟发布 AJAX 请求

require 'simple_html_dom.php';

$html = file_get_html('www.example.com/user_list.aspx');

$viewstate = $html->find("#__VIEWSTATE");
$viewstate = $viewstate[0]->attr['value'];

$eventvalidation        = $html->find("#__EVENTVALIDATION");
$eventvalidation        = $eventvalidation[0]->attr['value'];
$number_of_pageinations = 3;

$pageNumberCodes = array(
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl01',
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl02',
    'ctl00$cphMainContent$rdpMembers$ctl01$ctl03'
); // this code is added for each page in POST  as  __EVENTTARGET 

for ($i = 0; $i < $number_of_pageinations; $i++) {
    $options = array(
        CURLOPT_RETURNTRANSFER => true, // return web page
        CURLOPT_HEADER => false, // don't return headers
        CURLOPT_ENCODING => "", // handle all encodings
        CURLOPT_USERAGENT => "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7'", // who am i
        CURLOPT_AUTOREFERER => true, // set referer on redirect
        CURLOPT_CONNECTTIMEOUT => 120, // timeout on connect
        CURLOPT_TIMEOUT => 1120, // timeout on response
        CURLOPT_MAXREDIRS => 10, // stop after 10 redirects
        CURLOPT_POST => true,
        CURLOPT_VERBOSE => true,
        CURLOPT_POSTFIELDS => urlencode('ctl00%24scriptManager=ctl00%24cphMainContent%24ctl00%24cphMainContent%24rdpMembersPanel%7C' . $pageNumberCodes[0] . '&__EVENTTARGET=' . $pageNumberCodes[0] . '&__EVENTARGUMENT=' . '&__VIEWSTATE=' . $viewstate . '&__EVENTVALIDATION=' . $eventvalidation . "&google=" . '&ctl00%24cphMainContent%24txtZip=' . '&ctl00%24cphMainContent%24cboRadius=Exact' . '&ctl00%24cphMainContent%24txtMemberName=' . '&ctl00%24cphMainContent%24txtCity=Honolulu' . '&ctl00%24cphMainContent%24cboState=HI' . '&ctl00%24cphMainContent%24txtAddress=' . '&ctl00_cphMainContent_rdpMembers_ClientState=' . '&ctl00%24cphMainContent%24ddList=-Select%20field%20to%20sort-' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_rdpMembers1_ClientState=' . '&__ASYNCPOST=true' . 'RadAJAXControlID=ctl00_cphMainContent_RadAjaxManager1')
    );
    $ch      = curl_init($url);
    curl_setopt_array($ch, $options);
    $return = curl_exec($ch);
    curl_close($ch);
    echo $return;

    $newHtml = str_get_html($return);

    $viewstate = $newHtml->find("#__VIEWSTATE");
    $viewstate = $viewstate[0]->attr['value'];

    $eventvalidation = $newHtml->find("#__EVENTVALIDATION");
    $eventvalidation = $eventvalidation[0]->attr['value'];
}

这应该回显来自不同页面的数据,但它总是打印第一页的数据,任何人都可以指出我在哪里磨损以及缺少什么我不知道 asp 如何管理分页和 AJAX 请求以及是什么__EVENTARGUMENT__VIEWSTATE并且__EVENTVALIDATION

4

4 回答 4

28

通常,为了使 ASP.NET 网站认为您实际上按下了一个按钮(更笼统地说 - 执行了回发),您需要执行以下操作:

  1. 获取页面上每个 INPUT 和 SELECT 元素的值。可能并非在每种情况下都需要它,但您应该始终至少获取名称以“__”开头的所有隐藏字段的值(例如 __VIEWSTATE)。您实际上并不需要知道其中写入了什么——只需要将其中的值原封不动地发送回服务器即可。

  2. 创建对服务器的 POST 请求。您需要使用经典的 POST,避免任何 AJAX 请求。使用某些浏览器插件(在 Firefox 或 Chrome 中)可能会禁用 XMLHttpRequest,以便您可以使用 Fiddler 等工具拦截非 AJAX 请求。

  3. 将 #1 中的每个值添加到该发布请求。您只需覆盖两个值:__EVENTTARGET 和 __EVENTARGUMENT。除非您尝试模仿的链接或按钮具有onclick类似<a href="javascript:__doPostBack('ctl00$login','')">. 如果是,则解析此链接中的值 - 第一个是事件目标(它通常会匹配页面上某些元素的 ID),第二个是事件参数。

  4. 如果您正确执行了请求,您应该会返回 HTML 页面。如果您收到部分响应,请检查您是否没有传递请求异步结果的 HTTP 标头。

于 2013-02-19T17:44:17.897 回答
3

我最好的建议是使用 iMacros https://addons.mozilla.org/en-US/firefox/addon/imacros-for-firefox/

宏:

  1. 记录您的页面下载流程。http://wiki.imacros.net/First_Steps
  2. 将网页保存到本地目录。http://wiki.imacros.net/SAVEAS
  3. 使用 PHP 脚本报废电子邮件、地址等。

无论是 ajax - .aspx、.jsp 还是 .php。

于 2013-02-21T18:33:22.893 回答
2

我会建议扩展到 Ruby 并尝试Capybara,这是使用 Selenium 的一种明智的方式。它允许您访问页面,然后检查实际的 DOM。您可以单击所有内容,等待事件等。它使用真正的浏览器。

visit "http://www.google.com" 
page.find("button[name=btnK]")
于 2013-02-25T00:59:12.953 回答
0

我得到了一些使用你的作为基础的测试代码,我发现的唯一问题是这一行。

CURLOPT_POSTFIELDS => urlencode('ctl00%24scriptManager=ctl00%24cphMainContent%24ctl00%24cphMainContent%24rdpMembersPanel%7C' . $pageNumberCodes[0] . '&__EVENTTARGET=' . $pageNumberCodes[0] . '&__EVENTARGUMENT=' . '&__VIEWSTATE=' . $viewstate . '&__EVENTVALIDATION=' . $eventvalidation . "&google=" . '&ctl00%24cphMainContent%24txtZip=' . '&ctl00%24cphMainContent%24cboRadius=Exact' . '&ctl00%24cphMainContent%24txtMemberName=' . '&ctl00%24cphMainContent%24txtCity=Honolulu' . '&ctl00%24cphMainContent%24cboState=HI' . '&ctl00%24cphMainContent%24txtAddress=' . '&ctl00_cphMainContent_rdpMembers_ClientState=' . '&ctl00%24cphMainContent%24ddList=-Select%20field%20to%20sort-' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_rdpMembers1_ClientState=' . '&__ASYNCPOST=true' . 'RadAJAXControlID=ctl00_cphMainContent_RadAjaxManager1')

将需要移动 urlencode 看起来像这样

CURLOPT_POSTFIELDS => 'ctl00%24scriptManager=ctl00%24cphMainContent%24ctl00%24cphMainContent%24rdpMembersPanel%7C' . $pageNumberCodes[0] . '&__EVENTTARGET=' . $pageNumberCodes[0] . '&__EVENTARGUMENT=' . '&__VIEWSTATE=' . rawurlencode($viewstate) . '&__EVENTVALIDATION=' . rawurlencode($eventvalidation) . "&google=" . '&ctl00%24cphMainContent%24txtZip=' . '&ctl00%24cphMainContent%24cboRadius=Exact' . '&ctl00%24cphMainContent%24txtMemberName=' . '&ctl00%24cphMainContent%24txtCity=Honolulu' . '&ctl00%24cphMainContent%24cboState=HI' . '&ctl00%24cphMainContent%24txtAddress=' . '&ctl00_cphMainContent_rdpMembers_ClientState=' . '&ctl00%24cphMainContent%24ddList=-Select%20field%20to%20sort-' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_ddList_ClientState=' . '&ctl00_cphMainContent_rdlMembers_ClientState=' . '&ctl00_cphMainContent_rdpMembers1_ClientState=' . '&__ASYNCPOST=true' . 'RadAJAXControlID=ctl00_cphMainContent_RadAjaxManager1'
于 2013-12-01T23:57:14.737 回答