1

所以我正在尝试使用 Nokogiri 解析一个 400k+ 行的 XML 文件。

XML 文件具有以下基本格式：

<?xml version="1.0" encoding="windows-1252"?>
<JDBOR date="2013-09-01 04:12:31" version="1.0.20 [2012-12-14]" copyright="Orphanet (c) 2013">
 <DisorderList count="6760">

  *** Repeated Many Times ***
  <Disorder id="17601">
  <OrphaNumber>166024</OrphaNumber>
  <Name lang="en">Multiple epiphyseal dysplasia, Al-Gazali type</Name>
  <DisorderSignList count="18">
    <DisorderSign>
      <ClinicalSign id="2040">
        <Name lang="en">Macrocephaly/macrocrania/megalocephaly/megacephaly</Name>
      </ClinicalSign>
      <SignFreq id="640">
        <Name lang="en">Very frequent</Name>
      </SignFreq>
    </DisorderSign>
  </Disorder>
  *** Repeated Many Times ***

 </DisorderList>
</JDBOR>

这是我创建的用于解析每个 DisorderSign id 和 name 并将其返回到数据库中的代码：

require 'nokogiri'

sympFile = File.open("Temp.xml")
@doc = Nokogiri::XML(sympFile)
sympFile.close()
symptomsList = []

@doc.xpath("////DisorderSign").each do |x|
    signId = x.at('ClinicalSign').attribute('id').text()      
    name = x.at('ClinicalSign').element_children().text()
    symptomsList.push([signId, name])
end

symptomsList.each do |x|
    Symptom.where(:name => x[1], :signid => Integer(x[0])).first_or_create
end

这对我使用的测试文件非常有效，尽管它们要小得多，大约 10000 行。

当我尝试在大型 XML 文件上运行它时，它根本没有完成。我把它放在一夜之间，它似乎只是锁定了。我编写的代码是否有任何根本原因会使内存非常密集或效率低下？我意识到我将每个可能的对存储在一个列表中，但这不应该大到足以填满内存。

感谢您的任何帮助。

4

4 回答 4

4

我看到了一些可能的问题。首先，这个：

@doc = Nokogiri::XML(sympFile)

会将整个 XML 文件作为某种 libxml2 数据结构放入内存中，并且可能会比原始 XML 文件大。

然后你做这样的事情：

@doc.xpath(...).each

这可能不够聪明，无法生成仅维护指向 XML 内部形式的指针的枚举器，它可能会在构建返回的内容时生成所有内容的NodeSet副本xpath。这将为您提供大多数 XML 的内存扩展版本的另一个副本。我不确定这里发生了多少复制和数组构造，但即使它不复制所有内容，也有相当多的内存和 CPU 开销空间。

然后，您复制您感兴趣的内容：

symptomsList.push([signId, name])

最后遍历该数组：

symptomsList.each do |x|
    Symptom.where(:name => x[1], :signid => Integer(x[0])).first_or_create
end

我发现SAX 解析器在处理大型数据集时效果更好，但使用起来更麻烦。您可以尝试创建自己的 SAX 解析器，如下所示：

class D < Nokogiri::XML::SAX::Document
  def start_element(name, attrs = [ ])
    if(name == 'DisorderSign')
      @data = { }
    elsif(name == 'ClinicalSign')
      @key        = :sign
      @data[@key] = ''
    elsif(name == 'SignFreq')
      @key        = :freq
      @data[@key] = ''
    elsif(name == 'Name')
      @in_name = true
    end
  end

  def characters(str)
    @data[@key] += str if(@key && @in_name)
  end

  def end_element(name, attrs = [ ])
    if(name == 'DisorderSign')
      # Dump @data into the database here.
      @data = nil
    elsif(name == 'ClinicalSign')
      @key = nil
    elsif(name == 'SignFreq')
      @key = nil
    elsif(name == 'Name')
      @in_name = false
    end
  end
end

结构应该很清楚：你注意你感兴趣的元素的打开，并在做时做一些簿记设置，然后如果你在你关心的元素中缓存字符串，最后在元素关闭时清理和处理数据。你的数据库工作将取代

# Dump @data into the database here.

评论。

这种结构使得观察元素变得非常容易，<Disorder id="17601">这样你就可以跟踪你走了多远。这样，您可以通过对脚本进行一些小的修改来停止并重新开始导入。

于 2013-11-09T02:38:19.847 回答
3

SAX 解析器绝对是您想要使用的。如果你和我一样，无法使用 Nokogiri 文档，那么有一个很棒的 gem，叫做Saxerator，它可以让这个过程变得非常简单。

你正在尝试做的一个例子 -

require 'saxerator'

parser = Saxerator.parser(Temp.xml)


parser.for_tag(:DisorderSign).each do |sign|
  signId = sign[:ClinicalSign][:id]
  name = sign[:ClinicalSign][:name]
  Symtom(:name => name, :id => signId).create!
end
于 2014-01-30T16:39:31.453 回答
2

您可能内存不足，因为symptomsList内存大小过大。为什么不在 xpath 循环中执行 SQL？

require 'nokogiri'

sympFile = File.open("Temp.xml")
@doc = Nokogiri::XML(sympFile)
sympFile.close()

@doc.xpath("////DisorderSign").each do |x|
  signId = x.at('ClinicalSign').attribute('id').text()      
  name = x.at('ClinicalSign').element_children().text()
  Symptom.where(:name => name, :signid => signId.to_i).first_or_create
end

文件也可能太大而缓冲区无法处理。在这种情况下，您可以将其拆分为较小的临时文件并单独处理它们。

于 2013-11-08T21:51:28.383 回答
0

您也可以使用Nokogiri::XML::Reader. Nokogiri::XML::SAX解析器占用更多内存，但您可以保留 XML 结构，例如

class NodeHandler < Struct.new(:node)
  def process
    # Node processing logic
    #e.x.
    signId = node.at('ClinicalSign').attribute('id').text()      
    name = node.at('ClinicalSign').element_children().text()

  end
end


Nokogiri::XML::Reader(File.open('./test/fixtures/example.xml')).each do |node|
  if node.name == 'DisorderSign' && node.node_type == Nokogiri::XML::Reader::TYPE_ELEMENT
    NodeHandler.new(
        Nokogiri::XML(node.outer_xml).at('./DisorderSign')
    ).process
  end
end

基于这个博客

于 2016-06-07T10:44:26.113 回答