0

好吧，为了好玩，我决定刮掉所有在moodle网站上注册的上我大学的用户。

这是我用 Node.js 和cheerio 制作的程序，用于抓取网站，但我似乎无法获取 H2 标记内的文本。

这是我要抓取的网站，http ://moodle.rampo.edu/user/profile.php?id=2101 我需要做的只是更改 ID 号，它会遍历每个学生。

     var request = require('request'),
     cheerio = require('cheerio');
     urls = [];

     //For just single page, eventually will loop through each page.
     request('http://moodle.ramapo.edu/user/profile.php?id=2101', function(err, resp, body){
     if (!err && resp.statusCode == 200) {
          var $ = cheerio.load(body);
          $('h2.main', '#yui_3_9_1_2_1410303448188_167').each(function(){
              //Not sure how to retrieve just the text name of person
          });
      console.log(urls);
      };
 });

如何只选择 H2 标记内的文本，以便我可以将它们全部记录到我的控制台？

4

1 回答 1

0

我不会那样做。下面是一个可以帮助您的代码片段，您需要做的就是将其包装在一个循环中并遍历您要抓取的网址。我还建议您查看本教程Scraping the Web With Node.js

var express = require('express');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();

app.get('/scrape', function(req, res){

  url = 'http://moodle.ramapo.edu/user/profile.php?id=2101';

  request(url, function(error, response, html){
        if(!error){
              var $ = cheerio.load(html);
              var name;
              $('.main').filter(function(){
                var data = $(this);
                name = data.text();
                console.log("name = " + name);
          })
        }
    res.send('Check your console!')
  })
})

app.listen('8081')
exports = module.exports = app;
于 2014-09-15T23:12:17.490 回答