apache-nifi - HDF NIfi - Nifi 是否在 HDP 节点上写入出处/数据？

Question

你好

我有带有 3 个 Nifi 实例的 HDF 集群，它在 HDP 集群上提供午餐作业（Hive/Spark）。通常 nifi 将所有信息写入本地计算机上可用的不同存储库。

我的问题是 - 访问 HDFS、Hive 或 Spark 服务时，nifi 是否会写入任何数据、出处信息或溢出到 HDP 节点（例如 HDP 集群中的数据节点）？

谢谢

Answer 1

Apache NiFi 不将 HDFS 用于其任何内部存储库/数据。NiFi 和 Hadoop 服务之间的唯一交互是通过与这些服务交互的特定处理器，例如 PutHDFS、PutHiveQL 等。

来源数据可以使用 SiteToSiteProvenanceReportingTask 从 NiFi 中推出，然后存储在任何合适的位置（HDFS、HBase 等）。