问题标签 [mlcp]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
73 浏览

json - 在 MarkLogic 中,如何为所有文档添加自定义文档属性?

我正在使用 mlcp 从 CSV 将 JSON 文档加载到我的数据库中。我想为所有这些文件添加一个属性,然后能够根据属性值搜索文档。我怎样才能使用转换来做到这一点?使用 xdmp.documentAddProperties,我可以使用其 URI 将其应用于手动文档。

类似的查询,如何在摄取期间添加另一列?

0 投票
1 回答
25 浏览

marklogic - 如何使用 QueryBatcher 根据特定列的值获取文档?

我想获取状态值为“未处理”的所有文档。

我的文件看起来像:

这些文档的 URI 看起来像“/test/102/FName2/”

我可以使用以下代码从数据库中获取所有文档:

现在,如何获取状态未处理的文档?如何修改监听器?

0 投票
2 回答
107 浏览

marklogic - 如何在 MarkLogic 中对文档中的数据进行非规范化?

我有一堆使用 MLCP 中的 CSV 文件加载的规范化文档。如何使用主键(比如 ID)并找到所有相关文档并将它们合并到一个非规范化文档中?我还需要更改初始文档中的一些值。

0 投票
1 回答
54 浏览

marklogic - 从根节点提取元素并填充每个文档

MarkLogic 版本:9.0-6.2

这是我正在使用 mlcp 将 staging db 摄取的示例 xml 文件。我的要求是将 xml 拆分为每个 Policy 的单独文档,但是在将 TransactionRequestDt 重新格式化为 YYYYMMDDHHMMSS 之后,将 uri_id 创建为 /policy/PolNum/TransactionRequestDt.xml。示例 uri 是 /policy/P123/201610171533390000000.xml

我的 mlcp 代码如下所示

我的想法是使用转换函数重新格式化 TransactionRequestDt,但意识到元素 TransactionRequestDt 不可用于转换(因为它在“策略”聚合之外)。

访问 TransactionRequestDt 并在 uri 中使用它的最佳方法是什么?我试过了

但看起来参数值作为“TransactionRequestDt”(字符串)而不是 TransactionRequestDt 的实际日期值传递。

0 投票
0 回答
105 浏览

marklogic - MLCP 9.0.8 无法运行 log4j:WARN 请正确初始化 log4j 系统

我下载/安装 MLCP 9.0.8 但它无法运行。如何初始化 log4j 系统。提前致谢。

我在 run-import.sh 中有命令行

/mlcp-9.0.8/bin/mlcp.sh IMPORT -options_file /output/import- 2018-2019/import-collection.txt

0 投票
2 回答
143 浏览

marklogic - MarkLogic - 使用 MLCP 的增量加载

MarkLogic 版本:9.0-6.2

我们正在尝试使用 mlcp 将客户数据的日常更改加载到 data-hub-STAGING 中,然后使用协调流将更改带入 data-hub-FINAL。

据我了解,“collector.sjs”用于返回需要协调的 uri。在第 1 天满载后,收集器是否有办法识别前一天的变化并仅协调这些行?

我有几个设计

  1. 每次运行都保存批处理运行时间,并在收集器中有逻辑返回具有较高批处理运行时间的 uri(每个文档都与批处理运行时间一起保存)

  2. 将每个文档保存到两个集合(customer 和 customer_currentDate),然后让收集器从 customer_currentDate 集合中返回文档。但是,如果摄取和协调在不同的日期运行,这将有问题

  3. 将每个文档保存到两个集合(customer 和 customer_batchDateTime),然后创建一个标记(类似于 PROCESS 集合中的一行,PROCESS_IND 为“N”)。然后收集器将扫描 PROCESS 集合并查找 PROCESS_IND 为“N”的文档并从 customer_batchDateTime 集合中返回文档。最后,writer.sjs 会将 PROCESS_IND 变为 'Y'

在继续进行上述任何选项之前,我只想检查是否有任何内置功能在摄取或协调流程中以轻松识别增量/更改记录,以免我过度设计流程。

0 投票
1 回答
161 浏览

marklogic-9 - MarkLogic - JSON 文档的 mlcp 导出

MarkLogic 版本:9.0-6.2 MLCP - 版本 - 9.0.6

我正在尝试使用以下代码通过 mlcp 导出导出 JSON 文档的集合(客户)。执行脚本后,我没有从 mlcp 得到任何响应,并且没有创建输出文件。

我验证了 data-hub-STAGING(8010 端口)有一个名为 customer 的集合,其中包含 100 个 JSON 文档。linux用户对脚本有执行权限,对输出路径有写权限。用户名和密码正确。

有趣的是,当我使用相同的 linux 用户从同一目录运行 mlcp 代码时,我能够将文档导入 data-hub-STAGING

我的导出代码有什么问题吗?

0 投票
2 回答
195 浏览

marklogic - MarkLogic - mlcp 导出到单个输出文件

MarkLogic 版本 9.0-6.2

mlcp 版本 9.0.6

我有一个客户集合,每个文档都有一个客户根节点,如下所示。

我需要将集合中的所有文档导出到一个名为 customerinfo 的新根目录下的单个输出文件中

使用下面的代码,我可以将集合导出为目录下的单个文档。

是否可以在一个新的根节点下将输出聚合到一个文档中?

0 投票
0 回答
39 浏览

marklogic - MarkLogic - mlcp 作业失败并返回代码 0

MarkLogic 版本 - 9.0-6.2

当我通过我们的企业调度程序 Zena(类似于 Control-M)运行以下 mlcp 代码 (TestLoad.sh) 时,即使 mlcp 成功完成并且所有记录都被摄取到 STAGING DB 中,Zena 作业也会失败。

MLCP 代码 (TestLoad.sh)

我在 bash 脚本的末尾添加了“exit 0”,但仍然收到相同的失败消息。

这是我可以在我的 mlcp 脚本中处理的事情吗?

0 投票
3 回答
424 浏览

marklogic - MarkLogic - 使用 mlcp 导入时出现 java 堆空间错误

Marklogic 版本:9.0-6.2 mlcp 版本:9.0.6

我正在尝试使用 MLCP uisng 下面的代码将 XML 文件导入 marklogic。

该代码使用小文件成功运行,但使用大文件 (450 MB) 运行时出现“java heap space”错误。

我们如何解决这个错误?