apache-spark - 哪些文件系统可用于检查点

Question

文档说任何与 Hadoop API 兼容的文件系统（如 HDFS 、 S3 ）都可以用作检查点目录。

我的问题是，除了 HDFS 和 S3 之外，使用 Kafka 和 Cassandra 的 spark 流应用程序还有哪些实用的替代方案。

谢谢

Answer 1

您可以使用任何类型的分布式文件系统，例如Gluster、GFS、Lustre等等，但前提是底层文件系统使用的协议应受 Spark API 的支持。