hadoop - Hadoop 与文档捕获软件的集成

Question

我们需要从我们的图像捕获软件将文档发送到 Hadoop (Hortonworks)：图像捕获软件发布带有元数据的 PDF 文档。我对HDP没有太多了解。是否有任何 REST 服务或任何工具可以通过向 Documents 提供元数据来将文档添加到 Hadoop。

请帮忙

Answer 1

Hadoop HDFS 同时具有 WebHDFS 和 NFSGateway

但是，如果您可以更好地控制数据如何到达那里，通常建议不要将原始数据立即存储到 HDFS 上。这样，您可以更好地控制审计数据写入的位置和方式。

例如，您可以使用 Apache Nifi 处理器启动一个 ListenHTTP 处理器，读取文档数据，解析它，过滤和丰富，然后您可以选择写入 HDFS 或许多其他目的地。