0

我有加载 XML 文档的代码，执行 a$xmlDoc.SelectNodes($XPath)然后foreach($node in $nodes)将 XML 作为字符串插入表中。

此代码适用于 ca 的文件。100KB，有 10 条记录。

但是，我有一个文件是 ca. 100MB 和 ca。50k 条记录和代码只是挂起$xmlDoc =[xml](gc $xmlpath)（并使用所有可用的系统内存）。有没有更好的方法来生成我的数组$nodes而不首先解析整个 XML 文档？

# Loads xml document
$xmlpath = $filepath
$xmlDoc =[xml](gc $xmlpath)
$nodes = $xmlDoc.SelectNodes('//root') #One element per record in SQL

...

$SqlQuery = @"
INSERT INTO {0} VALUES ({1})
"@

....

foreach($node in $nodes) 
{ 
$StringWriter = New-Object System.IO.StringWriter 
$XmlWriter = New-Object System.XMl.XmlTextWriter $StringWriter 
$XmlWriter.Formatting = "None" 
$XmlWriter.Flush() 
$StringWriter.Flush() 
$node.WriteTo($XmlWriter) 
#data content (for this quote)
$Pxml = "`'"+$StringWriter.ToString()+"`'"

#Write to database
$SqlCmd = New-Object System.Data.SqlClient.SqlCommand
$SqlCmd.CommandText = [string]::Format($sqlquery, $tableName, $Pxml)
$SqlCmd.Connection = $SqlConnection
$SqlCmd.ExecuteScalar()
}

XML 文档具有以下结构：

<xml>
  <root>
   ...
  </root>
  <root>
   ...
  </root>
</xml>

结果字符串的形式为：

<root>
 ...
</root>
4

2 回答 2

2

使用此链接作为基础，尝试下面的代码。$object应该包含你的根对象

$object= @()
type "$filepath" | %{
  if($_.trim() -eq "<root>") {
    $object= @()
    $object+= $_
  }
  elseif($_.trim() -eq "</root>"){
    $object+= $_
    #call the code within your foreach($node in $nodes) {} section here
  } else {
    $object+= $_
  }
 }
于 2013-03-08T11:14:19.097 回答
1

据我所知，XML 解析需要完整的文件在内存中。尝试使用更有效的 .Net 方法来阅读内容。以下应该运行得更快并且可能使用更少的内存，因为它将内容保存为字符串数组，而不是像Get-Content这样的字符串对象数组。

# Loads xml document

# Get aboslute path
$xmlpath = (Resolve-Path $filepath).Path
# Get xml
$xmlDoc = [xml]([IO.File]::ReadAllLines($xmlpath))

一个更快的解决方案是将强制转换为 xml-document 并将其解析为纯文本。我仍然会避免Get-Content，因为它很慢。像这样的东西可以工作：

# Get aboslute path
$xmlpath = (Resolve-Path $filepath).Path

# Get streamreader 
$reader = [io.file]::OpenText($xmlpath)
$currentroot = @()

# Read every line
while (($line = $reader.ReadLine()) -ne $null) {
    if ($line.Trim() -eq "<root>") {
        $currentroot.Clear()
        $currentroot += $line
    } else if ($line.Trim() -eq "</root>") {
        $currentroot += $line

        #process root element (by extracting the info from the strings in $currentroot)

        $currentroot.Clear()
    } else {
        $currentroot += $line
    }
}
于 2013-03-08T10:33:45.413 回答