问题标签 [mlcp]

我们可以使用将数据从 Amazon S3 导入 MarkLogic

1. JavaScript/xQuery API
2. MarkLogic 内容泵
3. 还有什么办法吗？

请分享参考，如果有的话。

我的本地机器中有一个分隔文本文件，并尝试使用 MLCP 将此文件从本地机器加载到远程的 MarkLogic 中。当我这样做时，会收到以下错误消息。我没有在参数中的文件路径之前附加“/”，但它会自动将斜杠附加到路径，这会产生问题。

java.io.IOException：没有找到具有指定输入路径文件的输入文件：/D:/MLCP Tool/test.txt 和输入文件模式 .* 在 com.marklogic.contentpump.FileAndDirectoryInputFormat.getSplits(FileAndDirectoryInputFormat.java:129)在 com.marklogic.contentpump.DelimitedTextInputFormat.getSplits(DelimitedTextInputFormat.java:80) 在 com.marklogic.contentpump.LocalJobRunner.run(LocalJobRunner.java:128)

我已经更改了服务器映像的配置。我已经使用新配置启动了服务器。我可以使用 mlcp 副本将所有数据从一台服务器移植到另一台服务器（参见前面的类似脚本）。我相信我不能允许在交易发生时编辑数据。那是从复制开始，到新服务器重新链接时，我无法在旧服务器上编辑数据。我只能在复制开始后读取数据。

我可以使用 mlcp 推送更新吗？我是否可以允许在服务器上进行编辑，同时传输数据，并且仍然保持数据一致？

我正在尝试使用 MLCP 将文件批量加载到 MarkLogic 中。命令行和错误如下。我按照其中一个教程中的说明进行操作。如果我的模式是本地的，我不知道为什么它对 hadoop 做任何事情。任何想法我做错了什么？

T:\temp\gs>mlcp.bat import -mode local -host localhost -port 8000 -username admin -password admin -input_file_path T:\temp\gs\import -input_file_type 文档 -document_type xml

错误是：

java.lang.RuntimeException：java.io.IOException：登录失败：没有为 hadoop_simple 配置 LoginModules

我一直在尝试使用 mlcp 脚本加载 RDF 数据集，由 2091 个 nquad 组成，总共代表 727Mio 三元组。到目前为止，我已经使用了这个命令：

我在 3205 秒后得到的错误如下：“XDMP-FORESTERR：森林文档合并错误：SVC-FILWRT：文件写入错误：写入'/var/opt/MarkLogic/Forests/Documents/00000101/TreeData'：否设备上的剩余空间”（此处为详细信息 [1]）。但是，我的磁盘中仍然有足够的空间（剩余 28G）。

命令中奇怪的是我看不到在哪里传递数据集名称。

请问，我做错了什么？

TIA [1] https://gist.githubusercontent.com/gatemezing/3dce218a98ae72d2a1b8d3219ecd1fa1/raw/76144ee9740e1ba6f79eb114b9907bbe2ac59a03/mlcp.log

我正在使用以下命令

我得到了错误

错误消息几乎没有用。我正在尝试将一组与特定 xpath 匹配的文件从一个数据库复制到同一服务器上的另一个数据库。

我错过了什么？

谢谢，洛伦

当我使用 mlcp 从一个数据库批量加载到另一个数据库时，我遇到了超时错误。有任何想法吗

要执行的命令：

[root@mlcp bin]# sh mlcp.sh copy -mode local -input_host xxxx -input_port 8000 -input_database p2a-aws-prod-00-content -copy_collections false -copy_permissions false -copy_properties false -copy_quality false -input_username admin -input_password admin -output_host xxxx -output_port 8000 -output_database p2a-aws-bldstb-00-content -output_username admin -output_password admin

我在日志中看到了这一点：

17/03/31 05:49:05 INFO contentpump.LocalJobRunner：完成 66% 2017-03-31 05:49:16.951 严重 [13]（StreamingResultSequence.next）：RequestException 实例化 ResultItem 85129：超过 com.marklogic 的时间限制。 xcc.exceptions.XQueryException：SVC-EXTIME：超出时间限制[会话：用户=管理员，cb=#12474893908780766241 [内容源：用户=管理员，cb=p2a-aws-prod-00-content [提供者：地址=00-prod -db-02.highroads.local/10.46.13.182:8000, pool=0/64]]] [客户端：XCC/8.0-6.3，服务器：XDBC/8.0-5.1]

我在本地 MarkLogic 设置上加载数据时遇到了这个问题，我还在位于的选项文件中设置了路径。我想知道我哪里出错了。我正在使用 Windows 7。

是否可以将 AWS S3 存储桶中的 csv 文件配置为直接进入 ML，或者文件是否需要放在某个地方，然后必须使用 MCLP 摄取 CSV 文件？

我将 mlcp 与 ml-gradle 一起使用。一切都在本地运行，但是当我在我的持续集成系统 (Jenkins) 上运行它时，mlcp 命令失败。

我知道 mlcp 支持添加日志记录，但是由于我是通过 gradle 将其拉入，所以我不知道如何进行所需的日志记录更改。

我的系统确实有一个通过环境变量指定的 http 和 https 代理，但是对于这个部署我不需要它们。不过，我不知道 mlcp 是否注意代理环境变量。如果它试图使用代理，部署应该会失败。

所以我有两个问题。

1. 有没有关于代理和 mlcp 的文档？
2. 当通过 ml-gradle 触发时，我可以将日志记录添加到 mlcp 吗？