0

我经常出差，经常出差 kayak.com，这让我开始思考 kayak 如何完成对所有这些网站的搜索和抓取。

我可以理解从加载的 HTML 页面中获取数据，但是他们如何在没有最终用户看到 Expedia 网站的情况下完成后端搜索（例如 Expedia.com）？

4

2 回答 2

0

我已经建立了几十个这样的元搜索。有几个选项：

  1. 成为会员：通常网站会给您一个 API，您可以向其提交搜索并快速获得响应。大多数时候，你会因为推荐而得到一点回扣。
  2. 抓取目标站点：您可能不想尝试获取航空公司未来的整个行程，因此这里最好的计划是制定一个例程，将用户的搜索、将其提供给站点并获得结果背部。您的前端将需要处理异步结果或计划让用户等待很长时间。
于 2012-07-18T03:12:07.370 回答
0

Actually depending on affiliate marketing channels for your SQL Results is not a good idea. I would find a way to bulk insert the data on your end and build a search engine around the data feed results. Your dependence on others will affect the quality of a site your building.

Also think of it like a CAR, the more options you add to it the more there is to break.

Checkout Avoli.com.

于 2013-04-23T13:41:14.223 回答