javascript - Javascript通过链接搜索

Question

我从中知道我可以使用搜索整个 html 页面

var position = document.documentElement.innerHTML.indexOf('dog');

但是，我有一个包含大量链接的网页，我想制作一个简单的脚本来访问和搜索每个链接的页面。那可能吗？

Answer 1

由于同源策略和其他挑战，目前无法仅在浏览器上完成。但是，有一些使用 node.js 的服务器端 JavaScript 项目可以相对简单地在服务器或桌面上执行此操作（但不是在浏览器上）。因为它是 nodejs，所以您可以使用与浏览器中相同类型的 JavaScript（甚至是 jquery 选择器）。一个很好的例子是 node.io，尽管它主要是为在 Linux 或 OSX 上使用而构建的：

https://github.com/chriso/node.io

对于更适合 WIndows 的方法，您可以将 nodejs 与 Request ( https://github.com/mikeal/request ) 和 Cheerio 一起使用，或者使用 jsdom。有许多教程使用这种方法（第一个教程甚至从页面中提取 URL 列表）：

• http://www.sitepoint.com/web-scraping-in-node-js
• http://okfnlabs.org/blog/2013/01/15/web-scraping-with-node-css-selectors.html
• http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs

如果您需要使用浏览器，您可以在浏览器中发起请求，在服务器中运行它，然后通过 Ajax 轻松地将结果发送到浏览器。但是你需要一个服务器中介。

如果您必须在浏览器中执行此操作，则必须将其构建为某种浏览器扩展或附加组件。