2

大家好。

我有 2 个关于使用 Cheerio 进行网络抓取的问题。我浏览了可能有我答案的问题，但找不到能回答我问题的问题，所以我决定问一个问题。

背景信息：我只学习 Javascript 大约 2~3 个月，所以我可能会问一些非常有趣的问题，请原谅我。

目标：我希望从以下站点抓取数据 - 并且

我正在寻找

  • 自行车店名称
  • 自行车店地址
  • 自行车店电话

我已经设法抓取了我需要的数据，但是它们集中在一个 html 组中（不确定这是否是如何调用它的。这是我使用的代码。

var request = require('request');
var cheerio = require('cheerio');

var url = 'http://www.togoparts.com/bikeshops/list_shops.php?country=MY';
request(url, function(err, resp, body) {
    if (err)
        throw err;
    $ = cheerio.load(body, {
        normalizeWhitespace: false
    });
    var doc = $("td[width='52%'].verdana1");
    doc.each(function() {
        var link = $(this);
        console.log(link.html());

   });
});

结果循环运行，我能够得到以下结果。我无法发布图片 - 我已将图片放在以下链接中。

问题：如何分别获取数据？

我需要链接的标题，我试过 `var link = $(this).attr('href');' 但不起作用。

我还需要换行后的信息（自行车商店地址）——我不知道如何获取它。

问题 2： 我尝试了以下var doc = $("td[width='52%'] .verdana1");- 注意 .verdana1 之前的空格 - 这只给了我想要的自行车商店的标题，这与var doc = $("td[width='52%'].verdana1");

如果我正在使用它var doc = $("td[width='52%'] .verdana1");- 我怎样才能获得自行车店地址的数据？

非常感谢您的阅读，我在农历新年期间一直在努力解决这个问题，这让我发疯:(。我期待向你们学习。

布莱恩

4

1 回答 1

0

如果有链接，您可以先在文档中找到它们，然后记录所有 href 属性：

var doc = $("td[width='52%'].verdana1");
links = doc.find('a');
links.each(function (i,elem) {
    console.log(elem.attribs.href);
})

这将记录 href 属性的所有值。

当涉及到地址时，它会更加复杂，因为它们在 DOM 中没有语义区分，它们也是表格单元格的子单元，因此您需要嵌套循环，但您可以通过查找文本类型的元素来访问它们。

doc.each(function (i,elem) {
    # elem here is table cell
    elem.children.forEach(function (child,i) {
       # now all children of table cell (i.e links,spans,divs and just text)
       if (child.type == "text") {
            console.log(child.data);
       }
    })
});

希望能帮助到你。

于 2014-02-01T17:48:59.420 回答