falcon - 使用 Falcon 进行大数据处理

Question

HDFS我希望在使用Falcon时处理数据（例如验证 csv 列）。我已成功安装 Falcon( version - Hortonworks Sandbox 2.1, Falcon -0.5.0.2.1.1.0) 并能够提交作业。但是，作业没有运行，UI 没有任何东西可以启动/停止作业。我想知道如何验证作业的输出并根据第一份作业的验证继续进行另一份作业 - 工作流程。

Answer 1

如果您正在寻找自定义逻辑，您可以创建一个 oozie 工作流，并让该工作流将 falcon 作业作为最后一个任务提交。

<process name="sample-process">
...
   <workflow engine="oozie" path="/projects/bootcamp/workflow"/>
...
</process>

https://falcon.apache.org/EntitySpecification.html#Process_Specification

希望能帮助到你。

Answer 2

您提到该工作已提交。如果您使用的是apache falcon的命令行，仅“提交”是不够的，还应该运行“调度”命令。对于猎鹰“提交”作业不会进入运行状态，“计划”是必要的。

您可以参考http://falcon.apache.org/0.6.1/FalconCLI.html 了解所有命令。