我是 Apache Ignite 的新手，对于 Ignite 和 spark 的集成，看起来 Ignite 提供了一个内存层，数据将跨 Spark 应用程序存在，这是 Tachyon 作为内存文件系统提供的能力。所以，我的问题是内存文件系统（IGFS for ignite），Ignite 和 Tachyon 有什么区别？两者之间的优缺点是什么？
谢谢！
问问题
1233 次
1 回答
3
Apache Ignite 是一个包含许多组件的平台，例如（不限于）：
- 一个计算引擎，允许您在 fork-join 模型中运行分布式计算（不依赖于 Hadoop 或 Spark）
- 符合 JSR-107 的分布式键值存储，具有各种持久性选项，能够对您的数据运行索引 SQL 查询，并从 Ignite 1.8 开始，使用 DML 更新您的数据
- 分布式容错服务允许您在集群中运行固定数量的后台进程
- IGFS，分布式内存文件系统
- Hadoop 加速器组件
- Spark RDD 集成允许您对 Spark 任务的结果进行中间存储
- 分布式事件、消息传递等...
如果我们要查看 Ignite-Spark 集成，我会注意的一个主要功能是运行索引SQL 查询的能力。与大型 RDD 上的 Spark 相比，这可能会显着提高查询的性能。
另一方面，Tachyon 是一个内存文件系统，所以我想说 Tachyon 本身与 IGFS 相比非常接近。
于 2016-12-06T13:53:05.180 回答