0

碰巧skyscanner 只为大型商业网站提供他们的api，我想自己构建一个小应用程序来为我自己的目的（非商业）检索多个目的地的结果。

我发现获得航班搜索的结果似乎非常困难，因为页面需要几秒钟才能完成航班搜索并显示结果。

使用 wget、lynx、links2 或 edbrowse 对我不起作用，因为我得到的结果是我的浏览器中没有启用 javascript，即使在使用 javascript 支持编译 links2 时也是如此。也许我做错了什么，我不知道。

然而 phantomjs 提供了迄今为止最好的努力，我尝试了多个代码片段来检索航班搜索结果。

来源：

[Stackoverflow#1][1]
[Stackoverflow#2][2]
[Techslides][3]
[Stackoverflow#3][4]
[Stackoverflow#4][5]

  [1]: http://stackoverflow.com/questions/18526140/how-to-get-html-generated-from-javascript-using-phantomjs
  [2]: http://stackoverflow.com/questions/28209509/get-javascript-rendered-html-source-using-phantomjs
  [3]: http://techslides.com/grabbing-html-source-code-with-phantomjs-or-casperjs
  [4]: http://stackoverflow.com/questions/12450868/how-to-print-html-source-to-console-with-phantomjs
  [5]: http://stackoverflow.com/questions/8692038/phantomjs-page-dump-script-issue

即使有 [Stackoverflow#4][5] 中描述的时间延迟，它也不起作用。脚本只导致（在成功返回的情况下）skyscanner 的错误页面，说他们遇到了问题。

我尝试的最后一次导致描述的错误页面的努力是：

var page = new WebPage(),t, address;
var fs = require('fs');

var url = 'http://www.skyscanner.at/transport/fluge/nyca/lax/150626/150627/flugpreise-von-new-york-nach-los-angeles-international-im-juni-2015.html?adults=1&children=0&infants=0&cabinclass=economy&rtn=1&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false';

address = encodeURI(url);
page.open(address, function (status) {
    if (status !== 'success') {
        console.log('FAIL to load the address');
    } else {
        f = null;
        var markup = page.content;
        console.log(markup);
        try {
        f = fs.open('htmlcode.txt', "w");
        f.write(markup);
        f.close();          
        } catch (e) {
            console.log(e);
        }
    }   
    phantom.exit();

});

有人以前尝试过类似的事情并且成功了吗？你是怎么让它工作的？我正在尝试在无 gui 的 Debian-Linux 系统上构建基于 php 和/或基于 shell 脚本的解决方案。

4

1 回答 1

1

我在 Skyscanner 从事工程工作。这不是您问题的答案，但是，如果您最终进入该错误页面（或验证码页面），则很可能是我们的 bot-blocker 正在捕获您。这是一种“设计”:)

我可以给你一个 API 密钥，有一个保守的速率限制。那会有兴趣吗？

干杯，

伊恩

于 2015-07-02T10:24:36.597 回答