marklogic - 具有数据流的 MLCP

Question

不确定这个问题是否有效......

要求- 我将编写一个从外部 REST 端点捕获大量数据的应用程序，我想使用 MLCP 将来自外部 REST 端点的数据流存储到 MarkLogic。

可以使用 MLCP 吗？

请给出你的解决方案。

Answer 1

DMSDK（数据移动 SDK）可能有助于满足您的要求：

http://docs.marklogic.com/guide/java/data-movement

Answer 2

如果“流”是指空间和时间的无限，而“巨大”是指多 GB+，那么没有 MLCP 不是正确的选择，或者是不够的。MLCP 是一个命令行“批处理”程序，您需要在启动它之前将所有数据都存储在本地，在这个意义上它不是“流式传输”。

在任何情况下，您都需要在发送到 MarkLogic 之前拆分数据——理想情况下，块（文档）<100MB（不是一个神奇的数字，只是一个好的上限）。因此，您的流代码需要读取数据、缓冲数据、将其拆分为“块”，然后发送到 ML。一旦进入“块”，那么任何适用于 ML 的 API 都将起作用，包括 MLCP。不同 API 之间存在性能和可用性权衡——我将把它留到另一个讨论中。