问题标签 [mlcp]

有没有可能使用 MLCP 作为 Marklogic 中的计划任务批量加载数据的方法

当我尝试在 MacOS 10.10.4 上使用 mlcp 将 160,000 个 XML 文档加载到 MarkLogic 8.0-2 中时，mlcp-Hadoop2-1.3-1/bin/mlcp.sh: line 16: /usr/bin/java: Argument list too long会引发错误。

我发出的命令：

mlcp import -database FO -username sss4r -password ******* -host localhost -port 8003 -mode local -input_file_pattern '*\.xml' -output_uri_replace "/Users/sss4r/Documents/FOPOC,''" -input_file_path .

我意识到这可能是一个 Unix shell 问题，mlcp 正在使用文件系统工具来返回名称列表。在一个命令中可以处理多少个文件名存在基于系统的限制。

MarkLogician 推荐的解决此问题的最佳实践是什么？尝试以较小的块批量加载？尝试修改系统的限制？

谢谢。

我正在尝试使用 MLCP 和摄取时的基本转换脚本将一堆 JSON 文件加载到 MarkLogic 8 中。

我可以按原样加载文件，我在 ML 中获取 JSON 对象。

我想要的是在摄取时从 JSON 转换为 XML，所以我写了一个基本的转换，如下所示：

现在，如果我使用 MLCP 加载没有转换的文档，它可以工作，但如上所述，我在 ML8 中得到 JSON。（我使用Roxy为 MLCP 调用正确的加载环境。）

以上工作正常。

但是像这样使用变换：

我收到一个错误：“错误内容泵。多线程映射器：未知内容类型：json”

在查询控制台中，事情按预期工作，按预期将 JSON 变量转换为 XML 文档......

我在这里想念什么？

发送

雨果

我尝试使用以下命令在生产环境中运行的 MarkLogic 服务器中使用 MarkLogic 内容泵导入文件。

输入文件路径包含二进制文件和 XML 文件。

当我尝试在命令提示符下运行导入命令时。我收到了以下我不熟悉的回复。

有人可以帮我解决这个问题吗？

谢谢。

我需要拆分此文档

我用这个命令来做：

该命令工作正常，但我在 MarkLogic 中看到带有 id 的文档，它们不属于声明的 stwtext.id，而是属于最后一个元素的 id。例如，对于我希望看到的文档

但实际上它看起来像这样：

是错误，还是我做错了什么？谢谢

是否有任何用于 MarkLogic 内容泵 (MLCP) 的 Java 示例或 JavaDoc？

我有 Maven 添加的 MLCP 依赖项，没有任何问题。

请参阅下面的编辑

我们使用 MarkLogic Content Pump 将数据加载到 ML8 数据库中。我们有一个一切正常的开发环境和一个生产环境，其中 mlcp 不会通过对要处理的文件数量的评估。

我们有 210 万个 JSON 文档要加载。

在开发服务器（ML8 + CentOS6）上，我们看到：

完成正常，数据加载正常。

现在我们在我们得到的产品服务器（ML8 + CentOS 7）的不同机器上使用相同的数据

除了不同的操作系统，我们还在 de prod 服务器 2.6.0 上安装了更新版本的 mlcp，而不是 2.0.0。如果我们使用相同的命令来导入只有 2000 个文件的目录，它适用于 prod ...

计算要处理的文件数时，作业卡住了......

可能是什么问题？

开始编辑我们将 mlcp 放入 DEBUG 并用一个小的 samle.zip 进行测试

结果：

只有第一个 json 文件在数据库中，其余的被丢弃/丢失？

JSON文件中的换行符是否存在问题？

任何提示都会很棒。

雨果

我有以下挑战。我们有想要使用 mlcp 加载到 MarkLogic 数据库中的 csv 文件。我们还希望在加载过程中将加载的行转换为 OBI 源，因此我们为此构建了一个转换函数。

现在我正在为转型而苦苦挣扎。如果没有转换，数据将按预期作为每行的文档加载。

.csv 示例：

变换救护车.xqy：

mlcp 命令：

mlcp 输出：

我试过没有 xdmp:unquote() 但后来我遇到了强制 document-node() 错误......

请指教...

我尝试使用 MLCP 将聚合的 XML 文件加载到 ML8 中。

这是我的数据：

这是我使用的 mlcp 命令：

命令行上的结果是这样的：

所以我得出结论，没有找到元素“BerichtInhoud”，我试图包含命名空间，如 -aggregate_record_element cmd:BerichtInhoud。

也许它与这个“错误”有关，尽管它是从一月份开始的。
使用 mlcp 加载数据 - 命名空间问题

我正在使用 MarkLogic 内容泵来摄取 XML 文档。我想在 mlcp 摄取过程中使用“-transform module and -transform namespace”选项转换这些 xml 文档。我已经为转换创建了 XSLT 并将其加载到 ML“模块”数据库中。但是 mlcp 不接受 xslt 文件并抛出错误：

命令：

抛出以下错误错误：

我想知道mlcp是否接受xslt转换？如果没有，那么还有什么替代方案。？

MarkLogic 在模块数据库中创建等效的 xqy 文件。通过调用下面的“.xqy”文件，会抛出参数不匹配错误：我认为这是由于错误的返回类型：