ruby-on-rails - 从网站中提取数据

Question

我想从网站上提取属性数据，

我使用 mechanize 从几个网站获取数据，我在这个网站上尝试过 mechanize，我得到了第一页结果的所有重复结果。

但是在这个网站上，所有的结果调用都是基于ajax调用的，

我如何从这种类型的网站中获取数据，他们使用 ajax，并且在某些 ajax 中调用自身加密。

提前致谢

Answer 1

在第一次加载页面期间，您无法使用 Mechanize 获得 Ajax 请求的结果，也无法获得正常的 HTTP 请求。您必须根据该页面中的参数向其 Ajax 主机发出后续请求，并使用适当的值，与浏览器在加载页面后使用的值相同。

这需要使用类似Watir的东西，这样您就可以编写脚本然后检索 Ajax 请求接收到的数据，或者通过分析嵌入式 JavaScript 来找出 Ajax 请求使用的参数并使用另一个 Mechanize 或 HTTP 欺骗他们的系统要求。