3

我是用php guzzle客户端抓取网站，然后用symfony 2.1爬虫处理

我正在尝试访问一个表格......例如这里的这个测试表格 http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm

$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client($url);

$request = $client->get();
$request->getCurlOptions()->set(CURLOPT_SSL_VERIFYHOST, false);
$request->getCurlOptions()->set(CURLOPT_SSL_VERIFYPEER, false);
$response = $request->send();
$body = $response->getBody(true);
$crawler = new Crawler($body);
$filter = $crawler->selectButton('submit')->form();
var_dump($filter);die();

但我得到了例外：

当前节点列表为空。

所以我有点迷茫，关于如何访问表格

4

1 回答 1

7

尝试使用 Goutte，它是一个基于您已经在使用的工具（Guzzle、Symfony2 Crawler）之上的屏幕抓取和网络抓取库。有关更多信息，请参阅GitHub 存储库。

您的代码使用 Goutte 看起来像这样

<?php
use Goutte\Client;

$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client();

$crawler = $client->request('GET', $url);
$form = $crawler->selectButton('submit')->form();
$crawler = $client->submit($form, array(
    'username' => 'myuser', // assuming you are submitting a login form 
    'password' => 'P@S5'
));
var_dump($crawler->count());
echo $crawler->html();
echo $crawler->text();

如果你真的需要设置 CURL 选项，你可以这样做：

<?php
$url = 'http://de.selfhtml.org/javascript/objekte/anzeige/forms_method.htm';
$client = new Client();
$guzzle = $client->getClient();
$guzzle->setConfig( 
    array(
        'curl.CURLOPT_SSL_VERIFYHOST' => false,
        'curl.CURLOPT_SSL_VERIFYPEER' => false,
    ));
$client->setClient($guzzle);
// ...

更新：

使用 DomCrawler 时，我经常会遇到同样的错误。大多数时候是因为我没有在页面中选择正确的元素，或者因为它不存在。尝试而不是使用：

$crawler->selectButton('submit')->form();

请执行下列操作：

$form = $crawler->filter('#signin_button')->form();

您在哪里使用 filter 方法通过 id 获取元素，如果它有一个'#signin_button'，或者您也可以通过 class 获取它 '.signin_button'。过滤器方法需要CssSelector 组件。

还可以通过打印出 HTML ( echo $crawler->html();) 并确保您实际上在正确的页面上来调试您的表单。

于 2013-10-04T00:26:31.177 回答