8

简而言之

我有一个程序随着时间的推移逐渐使用越来越多的内存。我正在使用 jmap 和 jhat 来尝试诊断它,但还没有完全到位。

背景

该程序是一个长期运行的服务器,由一个 hbase 数据存储支持,为一堆其他东西提供节俭服务。但是,运行几天后,它最终会达到分配的堆限制,并且几乎所有时间都花在垃圾收集上。似乎引用在某处保留了很多数据

到目前为止我所做的

在摆弄了一些 jstat 和 jconsole 之后,我最终使用正在运行的进程的 jmap 进行 heapdumps,并通过 jhat 运行它,并且简单的数字加起来不会接近内存利用率

jmap -F -dump:live,format=b,file=heap.dump 12765

jmap -F -dump:format=b,file=heap.all 12765

直方图顶部的一些东西

Class   Instance Count  Total Size
class [B     7493    228042570
class java.util.HashMap$Entry    2833152     79328256
class [Ljava.util.HashMap$Entry;     541     33647856
class [Ljava.lang.Object;    303698  29106440
class java.lang.Long     2851889     22815112
class org.apache.hadoop.hbase.KeyValue   303593  13358092
class org.apache.hadoop.hbase.client.Result  303592  9714944
class [I     14074   9146580
class java.util.LinkedList$Entry     303841  7292184
class [Lorg.apache.hadoop.hbase.KeyValue;    303592  7286208
class org.apache.hadoop.hbase.io.ImmutableBytesWritable  305097  4881552
class java.util.ArrayList    302633  4842128
class [Lorg.apache.hadoop.hbase.client.Result;   297     2433488
class [C     5391    320190

虽然这里的总数没有加起来,但在进行堆转储时,该进程使用了​​超过 1gb 的内存。

直接明显的罪魁祸首似乎是我将 HBase Result 和 KeyValue 条目留在了整个地方。试图追踪参考资料,我最终击中了

Object at 0x2aab091e46d0

instance of org.apache.hadoop.hbase.ipc.HBaseClient$Call@0x2aab091e46d0 (53 bytes)

Class:

class org.apache.hadoop.hbase.ipc.HBaseClient$Call
Instance data members:

done (Z) : true
error (L) : <null>
id (I) : 57316
param (L) : org.apache.hadoop.hbase.ipc.HBaseRPC$Invocation@0x2aab091e4678 (48 bytes) 
this$0 (L) : org.apache.hadoop.hbase.ipc.HBaseClient@0x2aaabfb78f30 (86 bytes) 
value (L) : org.apache.hadoop.hbase.io.HbaseObjectWritable@0x2aab092e31c0 (40 bytes) 
References to this object:

Other Queries

Reference Chains from Rootset
Exclude weak refs
Include weak refs
Objects reachable from here

需要帮助:

似乎没有引用这个最终的 HBaseCLient$Call 对象(或任何其他类似的对象,每个对象都包含一千个左右的键值及其所有内部数据)。它不应该得到GCed吗?我是否只是误解了 gc 的工作原理或 jhat 将在多大程度上验证引用?如果是这样,我还能做些什么来追踪我的“丢失”记忆?我可以采取哪些其他步骤来追踪这一点?

4

3 回答 3

3

检查此 Java 内存监控文章 链接

这可以帮助您解决问题 http://java.sun.com/developer/technicalArticles/J2SE/monitoring/

于 2010-12-21T02:54:55.437 回答
1

您可以免费试用 JProfiler 10 天。使用 JProfiler,您将在几分钟内解决此问题。

于 2010-12-21T08:29:23.867 回答
0

我建议首先尝试 JVisualVM,它与最新的 JDK 一起分发。

此外,如果您能证明成本合理,多年来我发现 JProfiler 是一款出色的工具。

于 2010-12-21T02:47:13.503 回答