0

我正在尝试从此页面中抓取最新日期的数据 URL 链接，该日期是表格的第一行。表格的内容似乎是由 JavaScript 函数生成的。

我尝试使用 Nokogiri 来获取它，但 Nokogiri 无法抓取 JavaScript。然后，我尝试仅使用 Nokogiri 获取脚本部分：

url = "http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data"
doc = Nokogiri::HTML(open(url))
js = doc.css("script").text
puts js

在输出中，我找到了我想要的带有 class name 的表sgxTableGrid。但是，问题是 JavaScript 函数中没有关于数据 URL 链接的线索，并且所有内容都是动态生成的。

有人知道解决这个问题的更好方法吗？

4

1 回答 1

7

查看该页面的 HTML，该表是由作为 JavaScript 请求结果接收的 JSON 生成的。

您可以通过向后追溯页面的源代码来弄清楚发生了什么。如果您想在他们的 JavaScript 之外检索 JSON，以下是您需要的一些东西，但是仍然需要做一些工作来实际使用它：

  1. 从此代码开始：

    require 'open-uri'
require 'nokogiri'

doc = Nokogiri::HTML(open('http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data'))
scripts = doc.css('script').map(&:text)

puts scripts.select{ |s| s['sgxTableGrid'] }

    查看编辑器中的文本输出。搜索sgxTableGrid。你会看到这样的一行：

    var tableHeader =  "<table width='100%' class='sgxTableGrid'>"

    再往下看一点，你会看到：

    var totalRows = data.items.length - 1;

    data来自被调用函数的参数，所以这就是我们开始的地方。

  2. 获取包含函数名称的唯一部分loadGridns_并搜索它。每次找到它，查找参数data，然后查看data定义的位置。如果它被传递到该方法中，则搜索以查看调用它的内容。重复该过程，直到您发现变量没有传递到函数中，此时您将知道您在创建它的方法处。

  3. 我发现自己在一个以 开头的函数中loadGridDatans，它是xhrPost调用检索 URL 的块的一部分。该 URL 是您所追求的目标，因此获取包含函数的名称，并循环访问传入 URL 的调用，就像您在上述步骤中所做的那样。

  4. 该搜索最终出现在如下行：

    var url = viewByDailyns_7_2AA4H0C090FIE0I1OH2JFH20K1_...

  5. 此时，您可以开始重建所需的 URL。打开一个 JavaScript 调试器，比如 Firebug，并在该行放置一个断点。重新加载页面，JavaScript 应该在该行停止执行。单步，或设置断点，并观察url变量的创建，直到它处于最终形式。那时你有一些你可以使用的东西OpenURI，它应该检索你想要的 JSON。

注意，它们的函数名可能是动态生成的；我没有查看，所以尝试使用函数的全名可能会失败。

他们也可能正在序列化日期时间戳或使用序列化的会话密钥以使函数名称唯一/更不透明，这样做有多种原因。

尽管拆开这些东西很痛苦，但这也是动态页面如何工作的一个很好的教训。

于 2013-10-31T19:03:04.167 回答