hadoop - Falcon 在 Hadoop 生态系统中的角色

Question

我应该从事集群镜像工作，我必须将类似的 HDFS 集群（相同的主从集群）设置为现有集群，并将数据复制到新的集群，然后运行相同的作业。

我已经阅读了有关 falcon 作为馈送处理和工作流程协调工具的信息，它也用于 HDFS 集群的镜像。有人可以告诉我 Falcon 在 Hadoop 生态系统中的作用是什么，特别是它如何帮助镜像。我希望在这里了解所有 facon 在我的 Hadoop 生态系统 (HDP) 中提供的功能。

Answer 1

• Apache Falcon 通过以下方式简化了数据移动的配置：复制；生命周期管理；血统和可追溯性。这提供了跨 Hadoop 组件的数据治理一致性。
• Falcon 复制与增量更改是异步的。恢复是通过运行一个进程并交换源和目标来完成的。
• 数据丢失——如果主集群完全关闭，增量数据可能会丢失
• 可以根据带宽和网络可用性在需要时安排备份。