1

我想抓取几个网站，这些网站显然是使用 JavaScript 渲染的。具体来说，我想定位这个网站：http ://cve.mitre.org/find/index.html

这是我的代码：

$client = new Client();

$crawler = $client->request('GET', 'http://cve.mitre.org/find/index.html');
$form = $crawler->selectButton('Search')->form();
$crawler = $client->submit($form, array('search' => 'Symphony'));

print $crawler->html();

如果我查看源代码，我看不到 HTML，因为这个请求是由 JavaScript 完成的，那么，有人知道如何抓取这些网站吗？

4

1 回答 1

3

这个站点使用了一个懒惰的“谷歌自定义搜索”而不是自己实现，这意味着该站点带有各种 JavaScript 垃圾。

看起来实际的搜索可能是通过传统的表单提交完成的，您只需要使用 Google 呈现的元素发布到表单。然而，这可能并不那么容易，因为谷歌可能会检查推荐人等等，并且无论如何都会阻止它。

你有几个选择，我认为：

  • 使用像 PhantomJS 这样的无头浏览器来运行搜索。您可以尝试直接驱动它，或者使用像 Spiderling 这样的东西。这肯定会起作用，但它比运行像 Goutte 这样的简单浏览器要慢一些，并且需要管理员权限才能在服务器上运行
  • domain:cve.mitre.org酌情直接用 a 刮谷歌
  • 注册一个 Google 搜索 API 并直接使用它
  • 尝试将所需的表单注入 Goutte 并将表单提交给 Google（在您尝试之前很难知道它是否会起作用）
于 2015-03-18T09:38:40.237 回答