我正在下载文件源并逐行创建和流式处理以最终沉入 HDFS。为此，我使用 Spring Cloud Dataflow + Kafka。
问题：有什么方法可以知道何时将完整的文件放入 HDFS 以触发事件？
问问题
64 次
1 回答
0
有什么方法可以知道何时将完整的文件放入 HDFS 以触发事件？
这种类型的用例通常属于任务/批处理，而不是流式管道。如果您构建一个filehdfs任务（批处理作业）应用程序，那么您可以让一个流监听各种任务事件，以便做出进一步的下游决策或数据处理。
有关详细信息，请参阅参考指南中的“订阅任务/批处理事件”。
于 2016-09-09T18:41:17.600 回答