cassandra - 运行 DSBULK 加载时出现堆内存问题

Question

我在一个文件夹中卸载了 100 多个 CSV 文件。当我尝试使用 DSBULK 加载并将这些文件加载​​到 cassandra 并指定所有这些文件的文件夹位置时，出现以下错误

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "unVocity-parsers input reading thread"

我想看看其他人是否遇到过它以及它是如何解决的。

Answer 1

您可以尝试以下几件事：

1. DSBULK_JAVA_OPTS您可以使用env var将任何 JVM 选项或系统属性传递给 dsbulk 可执行文件。有关更多信息，请参阅此页面。如果可能，将分配的内存设置为更高的值。
2. -maxConcurrentQueries您可以使用该选项限制 dsbulk 。-maxConcurrentQueries 1从;开始 然后提高该值以获得可能的最佳吞吐量，而不会遇到 OOM 错误。更多关于这个here。