hadoop - 可用于创建数据管道的不同工具

Question

我需要在 hadoop 中创建数据管道。我已经设置了数据导入、导出、脚本来清理数据，现在需要在管道中进行设置。

我一直在使用 Oozie 进行数据导入和导出计划，但现在还需要集成 R 脚本来进行数据清理过程。

我看到猎鹰也用于同样的用途。

1. 如何在cloudera中安装falcon？
2. 还有哪些其他工具可用于在 hadoop 中创建数据管道？

Answer 1

2) 我很想回答 Hortonworks 的 nifi，因为linkedin 上的这篇文章已经增长了很多，并且非常接近替换 oozie。当我写这个答案时，oozie 和 nifi 之间的区别在于它们运行的​​地方：外部集群上的 nifi 和 oozie 进入 hadoop。