问题标签 [marklogic-dhf]

我有以下 xml 和 InsID 在 2 个地方，第一个直接在 PartyDownloadInfo 下并且只出现一次，ItemId 也在 PartyM 元素下，在这里它重复并出现多次。xml转json的过程中如何自定义ItemId为数组只在PartyM下。下面给出我如何在 JSON 转换代码中添加数组，而不是给我预期的结果，从而导致 ItemId 在两个地方都作为数组。

我的 Json 转换代码的实际结果：

预期结果应该是：

在 .sjs 文件中运行 Optic Query 时作业失败。用于光学查询的 .sjs 文件中似乎存在语法问题。您能帮我提供在 .sjs 文件中运行光学查询的正确语法吗？请在下面找到代码片段。

-这里'example'是模式名，sampleData是视图名，'firstName'是列名。它在具有 java 脚本查询类型的 marklogic qconsole 中工作正常，但在 .sjs 文件中出现问题。

MarkLogic 版本：9.0-6.2

我们有一个 XML 文档，其中的元素“CustomerInfo”出现在多个位置。根据架构定义，该元素在一个地方是一个数组 (maxOccurs="unbounded")，但在所有其他地方都是一个常规元素。

我正在尝试使用自定义配置将 XML 转换为 JSON，并给出我希望将“CustomerInfo”元素转换为数组的确切路径。

以下是样本数据...

下面是代码...

此代码不会将元素转换为数组。如果我只是给元素名称如下，那么我看到它转换为数组。

我也尝试了如下的 QName 但仍然没有转换为数组。

How can I specify exact path in JsonConfig['array-element-names'], so that I can explicitly control which elements to be converted to arrays?

Thanks in advance!

寻找一种简单的方法将社交媒体数据从 Facebook、Instagram 和 Twitter 加载到 Marklogic 的数据中心。

我可以想象将社交媒体数据存储到 HDFS 中，然后存储到 MarkLogic 中将是一种获取大量数据的方法。使用 MLCP。如果有任何来源社交媒体数据并创建到 MarkLogic 的流，我确实检查了 Apache NIFI。但是没有任何直接连接到 Facebook 或 Insta 的只有 twitter 可用。

主要目标：按主题、评级等其他搜索条件从社交顺序中查找所有食物、运动、赛车信息.. 提供来源、文档、图像和文本信息

MarkLogic 版本：9.0-6.2

我们在 mlcp 中使用 -batch_size 和 -transaction_size。

我们可以在协调流程中使用 -Pbatchsize，但找不到交易大小的等效参数。协调流程何时应用提交？对于每一次写入，还是有默认的事务大小？我们可以改写默认的事务大小吗？

提前致谢！

我们使用的是 mlcp 9.0.6 版。平台：Linux

当我们通过企业调度程序 Zena 运行 mlcp 作业时，尽管 mlcp 成功完成，但任务在 Zena 上失败。

我们尝试通过相同的任务运行 gradle harmonize job，它运行成功。我们还尝试了一个简单的文件移动功能，也很成功。但是 mlcp 没有将预期的成功响应返回给我们的企业调度程序，导致我们的企业调度程序任务失败。

以下是 mlcp 返回的示例日志。如日志所示，mlcp 加载成功，我能够验证 STAGING DB 中的数据，但是，mlcp 没有将成功响应传回调度程序。

错误：19/05/09 15:47:48 INFO contentpump.LocalJobRunner：内容类型：XML 19/05/09 15:47:48 INFO contentpump.ContentPump：作业名称：local_1527018875_1 19/05/09 15:47:48 INFO contentpump.FileAndDirectoryInputFormat：要处理的总输入路径：1 19/05/09 15:47:50 INFO contentpump.LocalJobRunner：完成 47% 19/05/09 15:47:51 INFO contentpump.LocalJobRunner：完成 100% 19/ 05/09 15:48:23 信息 contentpump.LocalJobRunner：com.marklogic.mapreduce.MarkLogicCounter：19/05/09 15:48:23 信息 contentpump.LocalJobRunner：INPUT_RECORDS：2798 19/05/09 15:48:23 信息contentpump.LocalJobRunner: OUTPUT_RECORDS: 2798 19/05/09 15:48:23 INFO contentpump.LocalJobRunner: OUTPUT_RECORDS_COMMITTED: 2798 19/05/09 15:48:23 INFO contentpump.LocalJobRunner: OUTPUT_RECORDS_FAILED: 0 19/05/09 15: 48:23 INFO contentpump.LocalJobRunner：总执行时间：35 秒

更新

这是mlcp代码

它最后有一个明确的“退出 0”，但工作仍然失败。我们能够成功运行如下协调步骤。

我试图避免在服务器的配置文件中使用纯文本密码。既然如此，我想使用 gradle-credentials ( https://github.com/etiennestuder/gradle-credentials-plugin ) 插件来混淆它们的价值。

我已经导入了必要的依赖项，现在可以使用加密密码创建“gradle.encrypted.properties”文件。我当前的问题是，当我尝试运行 gradle 包装器命令并应用com.marklogic.ml-data-hub插件时，DHF 连接到应用程序服务器并在我能够使用加密凭据之前失败。

我认为我遗漏了一些细节，因为 Marklogic 文档指出我们可以从 gradle.properties 文件中删除密码属性。

我的 build.gradle 文件包含以下内容：

从 gradle.properties 文件中删除mlPassword后，出现以下错误

其中：构建文件 'C:\workspaces\CAPL\tmp\marklogic\dhf\build.gradle' 行：7

出了什么问题：评估根项目“dhf”时出现问题。

无法应用插件 [id 'com.marklogic.ml-data-hub'] 未提供密码

我正在使用Data Hub version 5.

在我的例子中，一条记录被分配到 5 个实体中，比如一个实体有完整的地址信息，一个有电话信息，一个有资格信息等。

每个实体都有一个唯一的ID，将用于创建一个完整的记录。

我创建了 5 个实体并使用摄取步骤（每个步骤 1 步，总共 5 个）摄取了所有记录。

现在我需要将所有实体映射到每个记录的单个大实体，为此我需要自定义映射代码。

因为在DHF 4.*快速启动 UI 上自定义代码非常容易（使用内容、收集器、主要、编写器等选项卡），但DHF 5我在哪里可以实现相同的目标？

更新： 有一个custom步骤，我相信可以用来实现与上面相同的。请让我知道这是否正确，或者是否有更好的方法DHF 4

现在我正在尝试根据以下指南将 MarkLogic Datahub 安装到 marklogic 中。

https://marklogic.github.io/marklogic-data-hub/project/quickstart/

在此处输入图像描述

在上面的表格中输入我的 ID 和 PW 后，它应该已经连接到下一个屏幕，但它不能。

似乎我的 ID 和 PW 被收集了，因为输入了其他 ID 和 PW 然后显示了无效的 pw 消息。

所以我认为我的身份证和密码是对的。

有没有网络问题？或者你有什么中招？？

如果你能帮助我，我将不胜感激。

谢谢

使用 MarkLogic DHF 4.X，尝试将数据加载到暂存数据库中。

但是，似乎无法正确读取输入文件路径和输入文件，并且没有加载任何内容。

我更改了文件路径和文件的位置，但仍然无法正常工作。

这是错误日志。

2019-06-27 09:40:57.340 错误 2940 --- [nio-8080-exec-2] oaccC[.[.[/]。[dispatcherServlet]：Servlet.service() for servlet [dispatcherServlet] in >context with path [] 抛出异常 [请求处理失败；嵌套>异常是 com.marklogic.client.ResourceNotFoundException：本地消息：>无法读取资源/ml：流中的资源。服务器消息：未找到请求的>流] 根本原因

com.marklogic.client.ResourceNotFoundException：本地消息：无法在资源/ml:flow 读取 > 资源。服务器消息：未找到请求的流

如果你帮助我，我会很高兴的。谢谢。