php - 扫描整个网站的页面以获取一段代码

Question

我正在运行一项服务，该服务涉及网站所有者必须将一段代码放到他们的网站上。它在哪个页面上并不重要。

我正在寻找一种使用 PHP 来检查给定网站 URL 的页面以获取一段代码的方法。谁能指出我正确的方向？

我知道如何扫描给定 URL 的页面，但我需要一种使用 PHP 收集所有页面 URL 并在每个页面中搜索一行代码的方法。

谢谢！:)

Answer 1

这可以像获取 HTML的cURLstrpos()一样简单，并查看该特定字符串是否存在于 HTML 中。

但是，这确实存在问题！如果您要求人们放置链接或其他内容，稍后只需设置display:none. 为了解决这个问题，您需要更高级的东西来实际检查项目的存在和可见性。 PhantomJS可以用于此。

现在，当人们想要使用缩小器或以其他方式修改您的 HTML 同时保持添加链接的精神时会发生什么？我建议不要寻找确切的 HTML，而是检查您真正要寻找的内容...例如指向您网站的反向链接。在任何情况下，您都可以使用 DOM 解析器来帮助解决这个问题。

Answer 2

您想要解析每个页面的 DOM，搜索任何链接，然后扫描这些 URL。请务必跟踪您已经扫描了哪些页面，以及您需要扫描哪些页面，否则您将陷入无限循环。您还应该设置延迟，否则您可能很容易通过直接发送数百个请求而使服务器不堪重负。

SimpleHTMLDom给出了一个解析链接的例子。