27

当我运行我的鲨鱼查询时，内存被囤积在主内存中这是我的顶级命令结果。

内存：总计 74237344k，已使用 70080492k，可用 4156852k，399544k 缓冲区交换：总计 41942888k，已使用 480k，可用 4193808k，缓存 65965904k

即使我杀死/停止鲨鱼、火花、hadoop 进程，这也不会改变。现在，清除缓存的唯一方法是重新启动机器。

有没有人遇到过这个问题？是一些配置问题还是 spark/shark 中的已知问题？

4

5 回答 5

42

要删除所有缓存的数据：

sqlContext.clearCache()

来源：https ://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/SQLContext.html

如果要从缓存中删除特定的 Dataframe：

df.unpersist()
于 2017-05-19T17:36:50.643 回答
35

您是否使用该cache()方法来持久化 RDD？

cache()只需调用persist()，因此要删除 RDD 的缓存，请调用unpersist().

于 2014-07-22T14:24:42.167 回答
8

这很奇怪。提出的问题与答案无关。发布的缓存OP归操作系统所有，与spark无关。这是对操作系统的优化，我们不应该担心那个特定的缓存。

Spark 缓存通常在内存中，但这将在 RSS 部分，而不是操作系统的缓存部分。

于 2019-07-25T17:35:08.457 回答
5

我跟着这个，它对我来说很好::

for ((k,v) <- sc.getPersistentRDDs) {
   v.unpersist()
}

sc.getPersistentRDDs 是一个存储缓存数据详细信息的 Map。

scala> sc.getPersistentRDDs

res48: scala.collection.Map[Int,org.apache.spark.rdd.RDD[_]] = Map()

于 2019-01-02T04:14:09.003 回答
0

提出的解决方案：

sqlContext.clearCache()

给了我一个错误，我不得不改用这个：

sqlContext.catalog.clearCache()
于 2021-11-25T16:25:10.670 回答