我有超过 300 000 个条目的 XML 文件，我的脚本每天都必须解析这些条目。
xml的结构为：
<root>
<item>
<proper1></proper1>
<proper2></proper2>
</item>
</root>
我需要将大 XML 文件拆分为较小的文件，以便我的 PHP 可以运行它们，目前它无法处理它，因为它使用了太多内存。任何人都可以帮助我吗？
问问题
11596 次
2 回答
10
很大程度上取决于您的 XML 文件结构。
例如，您可以执行以下操作（假设结构是您发布的结构，包括回车，否则事情会变得更复杂）：
切线版本：如果格式“恰到好处”，则快速切片大型 XML 文件，
而如果文件格式不完全一样，则会崩溃和刻录
$fp = fopen(XMLFILE, 'r');
$decl = fgets($fp, 1024); // Drop the XML declaration '<?xml...?>'
$root = fgets($fp, 1024); // Drop the root declaration
$n = 1;
while(!feof($fp)) {
$tag = fgets($fp, 1024);
if ('<item>' === $tag) {
isset($gp) || trigger_error('Unexpected state');
$gp = fopen("chunk{$n}.xml", 'w'); $n++;
// Write the header of the file we saved from before
fwrite($gp, $decl);
fwrite($gp, $root);
} else if ('</item>' === $tag) {
fwrite($gp, $tag);
fwrite($gp, '</root>');
fclose($gp); unset($gp);
continue;
}
if (!isset($gp)) {
if ('</root>' === $tag /* EOF */) {
break;
} else {
trigger_error('Unexpected state 2');
}
}
fwrite($gp, $tag);
}
fclose($fp);
isset($gp) || trigger_error('Unexpected state 3');
这样做的主要好处是允许您“回收”您的 XML 解析脚本（实际上，您可以在关闭 $gp 后立即调用 XML 解析脚本，或者更好的是，根本不写入任何文件，而是将 fwrite 排入队列缓冲区，并使用该缓冲区调用脚本）。
另一个优点是能够在不同的子服务器之间“外包”文件，例如，由于 DNS 解析、DB 调用、HTTP/SOAP 调用、需要反馈等，XML 处理时间很长。在这种情况下，您可以根据 ($n % NUM_CLIENTS) 将文件保存在不同的子目录中，每个客户端一次可以获取一个文件，处理并删除它并继续。
然而，最好的方法是改写您的脚本，以便不将 XML 加载到内存中，而是使用 XML Parser 支持一次解析一点。
一种折衷方案是使用 XML Parser 对 XML 文件进行切片并将其“按原样”提供给您现有的脚本。
XMLparse 版本：有效地对大型 XML 文件进行切片和切块，
而无需担心 XML 实际是如何组合在一起的
xmlparse 函数通过回调工作，即您将数据输入到入口点 (xml_parse)，然后该入口点分析数据、拆分数据、将各个块路由到您定义的适当子函数。xml_parse 将处理编码和空白，从而使您无需处理相同的问题，这是上述代码中最大的缺点之一。xmlparse 核心本身不保存数据，因此即使对于千兆字节（或太字节）文件，我们也可以实现恒定内存实现。
因此，让我们看看如何重写 XMLParser 的代码，并通过拆分给定标签的一定数量的重复来分块大文件。
即，输入文件：
<root><item>(STUFF OF ITEM1)</item><item>(STUFF OF ITEM2)/item>....ITEM1234...</root>
输出文件：
FILE1: <root><item>(1)</item><item>(2)</item>...(5)</root>
FILE2: <root><item>(6)</item><item>(7)</item>...(10)</root>
...
我们通过编写一个 XMLparser 来做到这一点，它将提取 N（这里 N=5）项中的每个“块”并将其提供给块处理器，在接收到...时，它将在标签之间包装它，添加一个 XML 标头，因此生成一个与原始大文件具有相同语法的文件，但只有五个项目。
为了保存在单独的文件中，我们跟踪块编号。
function processChunk($lastChunk = false) {
GLOBAL $CHUNKS, $PAYLOAD, $ITEMCOUNT;
if ('' == $PAYLOAD) {
return;
}
$xp = fopen($file = "output-$CHUNKS.xml", "w");
fwrite($xp, '<?xml version="1.0"?>'."\n");
fwrite($xp, "<root>");
fwrite($xp, $PAYLOAD);
$lastChunk || fwrite($xp, "</root>");
fclose($xp);
print "Written {$file}\n";
$CHUNKS++;
$PAYLOAD = '';
$ITEMCOUNT = 0;
}
xmlparse 函数需要回调：一个接收标记 OPENING，一个标记 CLOSING，一个获取内容，另一个获取任何内容。我们对什么都不感兴趣，所以我们只填充前三个处理程序。
function startElement($xml, $tag, $attrs = array()) {
GLOBAL $PAYLOAD, $CHUNKS, $ITEMCOUNT, $CHUNKON;
if (!($CHUNKS||$ITEMCOUNT)) {
if ($CHUNKON == strtolower($tag)) {
$PAYLOAD = '';
}
}
$PAYLOAD .= "<{$tag}";
foreach($attrs as $k => $v) {
$PAYLOAD .= " {$k}=\"" .addslashes($v).'"';
}
$PAYLOAD .= '>';
}
function endElement($xml, $tag) {
GLOBAL $CHUNKON, $ITEMCOUNT, $ITEMLIMIT;
dataHandler(null, "</{$tag}>");
if ($CHUNKON == strtolower($tag)) {
if (++$ITEMCOUNT >= $ITEMLIMIT) {
processChunk();
}
}
}
function dataHandler($xml, $data) {
GLOBAL $PAYLOAD;
$PAYLOAD .= $data;
}
function defaultHandler($xml, $data) {
// a.k.a. Wild Text Fallback Handler, or WTFHandler for short.
}
为清楚起见，createXMLParser 函数是独立的
function createXMLParser($CHARSET, $bareXML = false) {
$CURRXML = xml_parser_create($CHARSET);
xml_parser_set_option( $CURRXML, XML_OPTION_CASE_FOLDING, false);
xml_parser_set_option( $CURRXML, XML_OPTION_TARGET_ENCODING, $CHARSET);
xml_set_element_handler($CURRXML, 'startElement', 'endElement');
xml_set_character_data_handler($CURRXML, 'dataHandler');
xml_set_default_handler($CURRXML, 'defaultHandler');
if ($bareXML) {
xml_parse($CURRXML, '<?xml version="1.0"?>', 0);
}
return $CURRXML;
}
最后是进料循环，它打开 Mr. Big File 并将其发送到研磨机。
function chunkXMLBigFile($file, $tag = 'item', $howmany = 5) {
GLOBAL $CHUNKON, $CHUNKS, $ITEMLIMIT;
// Every chunk only holds $ITEMLIMIT "$CHUNKON" elements at most.
$CHUNKON = $tag;
$ITEMLIMIT = $howmany;
$xml = createXMLParser('UTF-8', false);
$fp = fopen($file, 'r');
$CHUNKS = 0;
while(!feof($fp)) {
$chunk = fgets($fp, 10240);
xml_parse($xml, $chunk, feof($fp));
}
xml_parser_free($xml);
// Now, it is possible that one last chunk is still queued for processing.
processChunk(true);
}
然后我们调用机器：“将 test.xml 拆分为项目标签的 5 个实例”
ChunkXMLBigFile('test.xml', 'item', 5);
这个实现的运行速度大约是开始时愚蠢的分块器的五倍，但可以处理同一行中的标签，甚至可以扩展以验证 XML。
于 2012-07-07T12:45:11.020 回答
7
于 2012-07-07T12:28:47.827 回答