web-scraping - 为火车票价刮取 BRfares

Question

我正在寻求建议。以下网站

http://brfares.com/#home

提供英国火车线路的票价信息。我想用它来建立一个不同地点的季票旅行费用数据库。我以前从未做过这种事情，但有使用 Python/Bash 脚本和一些 HTML 的经验。

查看典型查询的源代码，实际公平信息未显示在index.html. 任何人都可以提供有关如何抓取（对我来说是一个新词）信息的指针。

Answer 1

这是查询的网址：http://brfares.com/querysimple?orig=SUY&dest=0415&rlc=

响应是一个 json 对象。

首先，您需要构建所有目的地代码的查找表。您可以使用以下链接来做到这一点http://brfares.com/ac_loc?term=。对字母表中的所有字母执行此操作，然后解析一个唯一列表。

然后你将它们一对一地拿来，执行 json 查询，解析返回的 json 并将数据提供给数据库。

现在您可以使用该数据库做任何您想做的事情。