0

我读到Cloudera将 Google Cloud Dataflow 管道运行器改编为在 Spark 上运行,并且Data Artisans 将其改编为在 Flink 上运行。尚不清楚 Cloudera 是否同时实现了批处理和窗口流式处理,一篇文章说没有,但其他文章似乎没有提及它,好像它已包含在内,而 Data Artisans 明确表示正在为 Flink 开发流式处理支持。

是否有来自 Google 或其他 Dataflow 维护者的页面列出了所有现有的备用管道运行器?取而代之的是,有人会关心维护一个规范的项目符号列表吗?谷歌云平台似乎还没有急于引入非谷歌实现,可能是因为这使得外部存储库与内部版本的同步更加直接。

4

1 回答 1

3

https://cloud.google.com/dataflow/partners的“Google Cloud Dataflow SDK Runners”部分有一个现有运行器的列表。

关于流媒体支持,Cloudera 编写的 Spark runner 目前不支持。

于 2015-09-15T14:25:39.677 回答