php - scraperwiki：为什么我的刮刀适用于 1 个 url 而不是另一个？

Question

这是我的第一个刮刀https://scraperwiki.com/scrapers/my_first_scraper_1/

我设法刮掉了 google.com，但没有刮掉这个页面。

http://subeta.net/pet_extra.php?act=read&petid=1014561

有什么理由吗？

我已按照此处的文档进行操作。

https://scraperwiki.com/docs/php/php_intro_tutorial/

代码没有理由不工作。

Answer 1

看起来您正在指定查找特定元素。元素的变化取决于您正在抓取的网站。因此，如果它没有找到您正在寻找的元素，您将无法获得回报。另外我会考虑用 curl 创建你自己的抓取/爬取工具。您不仅会学到很多东西，而且会发现很多关于如何抓取网站的信息。

另外一方面，您可能不想考虑遵守您正在抓取的网站上的 robots.txt 文件，或者在抓取之前征求许可，因为这被认为是不礼貌的。