8

由于 Java 的默认字符串实习受到了很多负面报道，因此我正在寻找替代方案。

你能推荐一个 API 来替代 Java 字符串实习吗？我的应用程序使用 Java 6。我的要求主要是通过实习避免重复字符串。

关于坏消息：

  • 字符串实习生是通过本机方法实现的。并且 C 实现使用一些 1k 条目的固定大小，并且对于大量字符串的扩展性非常差。
  • Java 6 将实习字符串存储在 Perm gen 中。因此不是 GC'd 并可能导致 perm gen 错误。我知道这在 java 7 中已修复，但我无法升级到 java 7。

为什么我需要使用 intering？

  • 我的应用程序是一个堆大小为 10-20G 的服务器应用程序，用于不同的部署。
  • 在分析过程中，我们发现数十万个字符串是重复的，我们可以通过避免存储重复的字符串来显着提高内存使用率。
  • 内存一直是我们的瓶颈，因此我们将其作为目标，而不是进行任何过早的优化。
4

1 回答 1

12

字符串实习生是通过本机方法实现的。并且 C 实现使用一些 1k 条目的固定大小，并且对于大量字符串的扩展性非常差。

对于数千个字符串，它的扩展性很差。

Java 6 将实习字符串存储在 Perm gen 中。因此不是 GC'd

当 perm gen 被清理时它会被清理，这并不常见，但如果你不增加它，这可能意味着你达到了这个空间的最大值。

我的应用程序是一个堆大小为 10-20G 的服务器应用程序，用于不同的部署。

我建议您考虑使用堆外内存。我在一个应用程序中有 500 GB 的堆外内存和大约 1 GB 的堆。它并非在所有情况下都有用，但值得考虑。

在分析过程中，我们发现数十万个字符串是重复的，我们可以通过避免存储重复的字符串来显着提高内存使用率。

为此，我使用了一个简单的字符串数组。这是非常轻量级的，您可以轻松控制存储的字符串的上限。

这是一个通用内部的例子。

class Interner<T> {
    private final T[] cache;

    @SuppressWarnings("unchecked")
    public Interner(int primeSize) {
        cache = (T[]) new Object[primeSize];
    }

    public T intern(T t) {
        int hash = Math.abs(t.hashCode() % cache.length);
        T t2 = cache[hash];
        if (t2 != null && t.equals(t2))
            return t2;
        cache[hash] = t;
        return t;
    }
}

这个缓存的一个有趣属性是它不是线程安全的并不重要。

为了获得额外的速度，您可以使用 2 的幂和一个位掩码，但它更复杂，并且可能无法很好地工作，具体取决于您的 hashCode 的计算方式。

于 2012-10-09T06:12:26.307 回答