0

我正在使用 Ruby 和 Nokogiri 抓取一个网站。

此脚本创建一个本地文本文件，打开一个 URL，并在满足表达式时写入文件tr td。它工作正常。

require 'rubygems'
require 'nokogiri'
require 'open-uri'

DOC_URL_FILE = "doc.csv" 

url = "http://www.SuperSecretWebSite.com"

data = Nokogiri::HTML(open(url))


all_data = data.xpath('//tr/td').text

File.open(DOC_URL_FILE, 'w'){|file| file.write all_data}

每行有五个字段，我想水平运行，然后在填充五个单元格后转到下一行。数据都在那里，但不可用。

我希望从知道如何创建 CSV 格式代码的人那里学习或获取代码：

  1. 在脚本读取代码时，将每个新的 td /td x5 水平转储到其自己的单元格中。
  2. 转到下一行等。

HTML的布局是：

<tr>
    <td>John Smith</td>
    <td>I live here 123</td>
    <td>phone ###</td>
    <td>Birthday</td>
    <td>Other Data</td>
</tr>

最终产品应该是什么样子。

http://picpaste.com/pics/Screenshot-KRnqRGrP.1361813552.png

电流输出

    john Smith      I live here 123  phone ### Birthday Other Data,
4

1 回答 1

5

这是遍历表格并将其单元格提取到数组数组中的非常标准的代码。此时您对数据的处理取决于您，但将其传递给 CSV 非常容易。

require 'nokogiri'
require 'pp'

doc = Nokogiri::HTML(<<EOT)
<table>
  <tr>
    <td>John Smith</td>
    <td>I live here 123</td>
    <td>phone ###</td>
    <td>Birthday</td>
    <td>Other Data</td>
  </tr>
  <tr>
    <td>John Smyth</td>
    <td>I live here 456</td>
    <td>phone ###</td>
    <td>Birthday</td>
    <td>Other Data</td>
  </tr>
</table>
EOT

data = []
doc.at('table').search('tr').each do |tr|
  data << tr.search('td').map(&:text)
end

pp data

哪个输出：

[["John Smith", "I live here 123", "phone ###", "Birthday", "Other Data"],
["John Smyth", "I live here 456", "phone ###", "Birthday", "Other Data"]]

代码用于at定位第一个<table>，然后遍历每个<tr>using search。对于每一行，它遍历单元格并提取它们的文本。

Nokogiriat找到第一次出现的东西，并返回一个节点。search查找所有匹配项并返回一个 NodeSet，它的作用类似于一个数组。为简单起见，我使用 CSS 访问器而不是 XPath。

仅供参考：

File.open(DOC_URL_FILE, 'w'){|file| file.write all_data}

可以更简洁地写成：

File.write(DOC_URL_FILE, all_data)

我一直在研究这个问题一段时间。你能给我更多的帮助吗？

叹...

您是否阅读过 CSV 文档，尤其是示例？如果我们不定义data = []而是将其替换为：

CSV.open("path/to/file.csv", "wb") do |data|

并用 CSV 块包装循环，例如：

CSV.open("path/to/file.csv", "wb") do |data|
  doc.at('table').search('tr').each do |tr|
    data << tr.search('td').map(&:text)
  end
end

这没有经过测试，但它真的很简单。去摆弄那个。

于 2013-02-25T18:17:58.587 回答