phantomjs - 使用 CasperJS/PhantomJs 进行抓取

Question

我想用 CasperJS 从一个受欢迎的网站上抓取一些数据。我已经使用代理池成功地抓取了一些数据。现在我担心 HTTP REQUEST 标头与我的 HTTP 请求一起出现。我知道有很多关于我和我的服务器的信息——所以是否存在一些删除或修改传出 HTTP 标头的方法。

Answer 1

您可以使用 headers 属性将自定义标头添加到 casperjs。您应该能够更改您关心的标题。

示例：http ://casperjs.org/api.html#casper

casper.open('http://some.testserver.com/post.php', {
    method: 'post',
    data:   {
       'title': 'Plop',
        'body':  'Wow.'
    },
    headers: {
       'Accept-Language': 'fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3'
    }
});