php - 如何使用 PHP、CURL 抓取 javascript 网站

Question

可能重复：
如何在 PHP 应用程序内从另一个站点呈现 javascript？

这是网站http://www.oferta.pl/stroma_v2/gazeta_v2/。这个网站完全建立在 JavaScript 之上。我想使用 PHP 和 curl 进行抓取。目前我使用 DOMXPath。在左侧菜单中有一些类别可供选择。我在那里看不到“形式”。如何使用 curl 提交该表单并废弃输出页面？

我只使用了 file_get_contents() 。它没有获取所有页面。我该如何进行？

注意：http ://www.html-form-guide.com/php-form/php-form-submit.html我发现这个例子有一个“表格”。但我指定的网站没有“表格”。

Answer 1

你不能刮它。这是可能的。但这太难了。

1. 通过 curl 模拟 http 请求。检查它通过ajax发出的每个请求并尝试模拟它。

2. 模拟 Javascript 执行（这部分几乎是不可能的）。一些请求包含由 Javascript 生成的值。您需要在 php.ini 中执行此操作。如果他们在 JS 中实现了一些复杂的算法，您可以调用v8javascript 引擎。