marklogic - MLCP 批量加载

Question

我有近 10000 个 XML（小）文件，我正在通过 MLCP 将它们放入 MarkLogic。在摄取时，我正在做一些转换，转换的主要内容是字典更新。我正在从 XML 元素的输入中更新 Dictionary。

我收到警告。这个警告的含义和原因是什么？

WARN mapreduce.ContentWriter: XDMP-XDQPNOSESSION

MLCP 提取文档的速度非常慢。我认为这是因为字典更新。有什么方法可以增强 MLCP java 堆内存，或者有什么其他方法可以在 ML 服务器上快速摄取这些文档。

请建议。

Answer 1

XDMP-XDQPNOSESSION的文档是指影响 MarkLogic 5.0-2 及之前和 4.2-9 及之前的错误。如果您使用的是其中一个版本，看起来修复方法是升级它们。

您提到基于 XML 元素更新 Dictionary 。MLCP 在并行化输入方面做得很好，但是对于每个输入文档，您都在 Dictionary 文档上获取了一个写锁。不确定你想用字典完成什么，但也许你可以使用单词词典来代替。这将在插入文档时自动更新，而无需对单个文件进行写锁定。