2

我正在使用 Casperjs 抓取网站，并尝试提取包含列表的特定 div。我正在抓取的页面的简化版本是：

<div id="col1" style="margin-top: 1px; ">
    <div class="portlet_my_classes" id="my_classes">
        <div class="eclass_list">
            <ul>
                <li>First item</li>
            </ul>
        </div>
    </div>
</div>

我的 casper 脚本如下：

var casper = require('casper').create()

var classes = []

function getClasses() {
    var classes = document.querySelector(".eclass_list")
    return Array.prototype.map.call(classes, function(e) {
        return e.textContent
    })
}

casper.start('https://redacted', function() {
    this.echo(this.getTitle());
    this.fill('form[action="/do/account/login"]', {login: "redacted", password: "redacted"}, true)
});

casper.then(function() {
    this.echo(this.getHTML())
})

casper.thenOpen('https://redacted', function() {
    this.echo(this.getTitle())
    this.echo(this.getHTML())
    this.echo(this.evaluate(getClasses))
    this.echo(this.exists(".eclass_list"))
    require('utils').dump(this.getElementInfo(".eclass_list"))
    classes = this.evaluate(getClasses)
})

casper.run(function() {
    this.echo(classes).exit()
});

this.exists(".eclass_list")返回 true，但 classes 始终为 null。

4

1 回答 1

4

document.querySelector(".eclass_list")在getClasses函数中将仅返回具有此类的第一个元素，而不是作为数组而是作为元素。所以后续Array.prototype.map对 DOM 元素的调用会失败，因为 DOM 元素没有length属性，不能解释为数组。由于页面上下文中存在异常（SyntaxError: Illegal return statement在 Chrome 中），因此返回值将是null.

你想要的是document.querySelectorAll(".eclass_list").

如果您添加了remote.messageandpage.error事件，您就会发现问题所在。

于 2014-08-16T23:55:40.433 回答