node.js - 使用“npm 爬虫”进行爬网

Question

例如，我从npmjs.org爬取 Node.js 模块的描述。
但这段代码不起作用。以及它是如何使用 jQuery 实现的，而不是使用jsdom模块。

var Crawler = require("crawler").Crawler;
var crawler = new Crawler({
   "maxConnections":10,
});

crawler.queue([{
"uri":"https://npmjs.org/package/crawler",

"callback":function(error,result) {
    console.log("description:", window.$("p.description").text());
    }
}]);

Answer 1

您的代码存在得太早了。在最后一行添加一个 setTimeout，为您的代码提供足够的时间来完成。

然后从您的回调函数中调用 process.exit() 。

爬虫回调需要 3 个参数，第三个是 jQuery，所以你可能会使用类似这样的东西：

"callback":function(error,result,$) {
  console.log("description:",$("p.description").text());
}