8

我正在努力让 CasperJS 打开链接中的每个array链接。我有它，以便在我打开链接后，它将显示该页面的标题。然而，当我运行它时，什么都没有显示。

我可以使用 afor loop来显示链接，并且效果很好。

这是我刚刚解释的代码：

var x;

casper.start(URL, function() {

    x = links.split(" "); // now x is an array of links

    for (var i = 0; j < x.length; i++) // for every link...
    {
        casper.thenOpen(partialURL + x[i], function() { // open that link
            console.log(this.getTitle() + '\n'); // display the title of page
        });
    }

    this.exit();
});

casper.run();

这是我尝试的另一种方法：

var x;

casper.start(URL, function() {
    x = links.split(" "); // now x is an array of links
    this.exit();
});

for (var i = 0; j < x.length; i++) // for every link...
{
    casper.thenOpen(partialURL + x[i], function() { // open that link
        console.log(this.getTitle() + '\n'); // display the title of page
    });
}

casper.run();

它说未定义的“x”。请注意，我将 x 设置为全局变量。您可以进行的任何修改都会很棒。谢谢。

4

7 回答 7

8 
var i = 0;
var nTimes = x.length;

casper.repeat(nTimes, function() {
    //... do your stuff
    i++;
});

为我工作。

于 2014-05-01T23:09:13.240 回答
8 
var x; var i = -1;

casper.start(URL, function() {
    x = links.split(" "); // now x is an array of links
});

casper.then(function() {
    this.each(x, function() { 
        i++; // change the link being opened (has to be here specifically)
        this.thenOpen((partialURL + x[i]), function() {
            this.echo(this.getTitle()); // display the title of page
        });
    });
});

casper.run();
于 2013-07-29T22:20:36.837 回答
5 
casper.start('about:blank');

var urls = ['http://google.fr', 'http://yahoo.fr', 'http://amazon.fr'];

casper.each(urls, function(casper, url) {
  casper.thenOpen(url, function() {
        this.echo("I'm in your " + url + ".");
    });
});
于 2016-05-09T15:52:00.563 回答
2

就我而言，我不得不抓取一个页面数量未知的网站。每页（除了最后一页）都有一个<a class="next-page" href="/page/N">Next page</a>链接（N页码在哪里）。刮板无法知道何时完成，除非“下一页”链接不再存在。

当然，您必须根据页面上可能存在的分页链接类型进行调整。

这就是我所做的。是的。

// imports
var fs = require('fs');

// scraper state
var state = {page: 1, data: []};

// casper
var casper = require("casper").create();

// scraper function
function scrape() {
  this.echo('Scraping page ' + state.page + '...', 'INFO');

  state.data = state.data.concat(this.evaluate(function() {
    // get some stuff from the page
    return someData;
  });

  var nextUrl = this.evaluate(function() {
    var nextLink = document.querySelector("a.next-page");
    return nextLink && nextLink.href;
  });

  if (nextUrl) {
    state.page = state.page + 1;
    casper.thenOpen(nextUrl, scrape); // <- recursion
  }
});

// run
casper.run(function() {
  fs.write('./data.json', JSON.stringify(state.data, null, '\t'), 'w');
  this.echo('Done!', 'INFO');
});

希望这可以帮助某人。如果您还有其他问题，我很乐意为您提供帮助。

于 2015-07-08T20:09:16.653 回答
1 
casper.start();
casper.each(Object.keys(array), function(casper, array_elem) {
    this.thenOpen(partialURL+array[attay_item], function() {
        ...
};

至于“未定义”的错误。尽量不要使用太多。我经常遇到 CasperJS 的这个错误，所以我更喜欢写 casper 而不是这个。

于 2015-01-08T17:01:08.280 回答
0

尝试这样的事情。

var x;

casper.start(URL, function() {
    x = links.split(" "); // now x is an array of links
});

casper.then(function() {
    this.eachThen(x, function(response) {
        this.thenOpen((partialURL + response.data), function() {
            this.echo(this.getTitle()); // display the title of page
        });
    });
});

casper.run();

x未定义，因为之前执行了 for 循环casper.start。在上面的代码中，eachThen()块嵌套在casper.then块内以延迟其执行。

于 2013-07-29T17:18:05.570 回答
0

我用这段代码解决了同样的问题：

casper.then(function () {
    var i = -1;
    this.eachThen(locations, function () {
        i++;
        //Do stuff here like for example:
        this.thenOpen(YOUR_URL, function () {
            this.waitForSelector("MYSELECTOR", 
            function () {

            },                
            function () {

            })
        });
    })
});
于 2016-05-02T13:32:20.173 回答