0

我想抓取该网站（http://www.oddsportal.com/matches/soccer）的数据，以便以这种方式获取包含比赛信息和赔率信息的纯文本文件：

00:30   Criciuma - Atletico-PR                    1:2   2.70    3.24    2.41    
10:45   Vier-und Marschlande - Concordia Hamburg  0:0   4.00    3.53    1.68    
10:45   Germania Schnelsen - ASV Bergedorf 85     2:3   1.95    3.37    3.23    
10:45   Barmbecker SG - Altona                    0:2   3.67    3.37    1.82

我曾经用 w3m 做到这一点，但现在似乎他们将 html 更改为 javascript 并且 w3m 不起作用。数据仅包含在一个 div 中。这是一个条目

<tr xeid="862487"><td class="table-time datet t1333724400-1-1-0-0 ">17:00</td><td class="name table-participant" colspan="2"><a href="/soccer/italy/serie-b-2011-2012/brescia-marmi-lanza-verona-862487/">Brescia - Verona</a></td><td class="odds-nowrp" xoid="40456791" xodd="xzc0fxzxa">-</td><td class="odds-nowrp" xoid="40456793" xodd="cz0ofxz9c">-</td><td class="odds-nowrp" xoid="40456792" xodd="cz9xfcztx">-</td><td class="center info-value">17</td></tr>

我能做些什么？

4

2 回答 2

3

最简单的方法（虽然可能不是最好的）是使用 selenium/watir。在红宝石中，我会这样做：

require 'watir-webdriver'
require 'csv'
@browser = Watir::Browser.new
@browser.goto 'http://www.oddsportal.com/matches/soccer/'
CSV.open('out.csv', 'w') do |out|
    @browser.trs(:class => /deactivate/).each do |tr|
        out << tr.tds.map(&:text)
    end
end
于 2012-04-06T19:11:56.720 回答
2

如果他们使用 Javascript 从服务获取数据并将其呈现在 DIV 中，W3M 将不会显示使用该数据更新的 div，因为它不支持 Javascript。

你有两个选择：

  • 对他们的 Javascript 进行逆向工程以找出数据的来源，并查看您是否可以直接查询该数据源以获取他们用于更新 DIV 的 XML 或 JSON。然后你可以完全跳过抓取。但是，他们可能不希望您这样做，并且可能已经保护了数据源以防止它发生。或者他们可能没有。

  • 在开始抓取之前使用执行 Javascript 的浏览器。这样，您将使用数据填充 div。W3M-js 可能会为您执行此操作，或者您可能想尝试其他方法（lynx 或links）。这个问题似乎是相关的。

ETA：也许PhantomJS会在这里提供帮助？

于 2012-04-06T14:13:19.847 回答