php - 基于 PHP 网页的爬虫

Question

我想做的是使用 PHP 来抓取我输入参数的网址的网站。

我想要整个原始源代码..但这还不是全部..

我希望它然后保存到一个 html 页面中，并保存到 php 脚本的本地服务器上。

有一个简单的片段吗？或者有人可以轻松地为我编写代码吗？

例如

我想抓取http://google.com

例如，mysite.com/scrape.php?url=http://google.com

我希望它将谷歌的首页保存到http://mysite.com/scraped/google.com.html

Answer 1

这是一个脚本，它将指定 url 的内容保存到一个名为 的文件中scraped.html：

if (isset($_GET['url'])):
   $contents = file_get_contents($_GET['url']);
   file_put_contents('scraped.html', $contents);
endif;

要在调用中使用 url，file_get_contents()您必须allow_url_fopen在php.ini文件中启用。

当然，这只会保存请求的 url 的实际来源，而不会保存任何其他资源，例如图像、脚本和样式表。