请帮助我理解以下内容
- 为 Apache Spark 2.x 配置 OFF-HEAP 存储的步骤是什么?
- 是否可以在 2.0 中将 Alluxio 配置为 OFF-HEAP 存储?自 2.x 以来是否已将其删除?
- OFF-HEAP 如何与动态分配一起工作,其中执行器根据需要随机添加和删除?
请帮助我理解以下内容
为 Apache Spark 2.x 配置 OFF-HEAP 存储的步骤是什么?
不需要额外的步骤。
是否可以在 2.0 中将 Alluxio 配置为 OFF-HEAP 存储?从 2 开始是否已删除。
它不是。Spark 2.0 中删除了外部块存储:SPARK-12667 - 删除块管理器的内部“外部块存储”API。你可以使用 Alluxio 作为一个普通的文件系统。
OFF-HEAP 如何与动态分配一起工作,其中执行器根据需要随机添加和删除?
因为 OFF-HEAP 是内部的,它会像任何其他存储级别一样松散块。
查看: