7

我正在使用包 RJDBC 和函数 dbGetQuery 来获取 SQL 查询的输出。该代码适用于行数不多的 SQL 语句，但哪些行 > 1.000.000 的语句会出错。是否有处理内存的参数？

dbGetQuery(conn,"SQL..")

然后我收到以下错误消息：

.jcall(rp, "I", "fetch", stride, block) 中的错误：
java.lang.OutOfMemoryError：超出 GC 开销限制

谢谢！R007

4

1 回答 1

2

正如本文所提到的，在加载库之前将 java 参数参数放在代码的顶部应该会从默认的 512 MB 增加堆大小。如果您已经加载了包，则需要重新启动 R 并重新运行代码以应用更改。

https://www.ibm.com/support/pages/executing-code-r-connecting-impala-jdbc-rjdbc-results-error-jcallrp-i-fetch-stride-javalangoutofmemoryerror-java-heap-space-rjdbcdbgetquery- gc-overhead-limit-exceeded

# Do this first    
options(java.parameters = "-Xmx4g")

# Then load your libraries
library(XLConnect)
library(RJDBC)

接下来，您可以根据需要使用 XLConnect 包随时释放 Java 内存。

# Free up java memory
XLConnect::xlcFreeMemory()

如果您像我一样运行一个巨大的循环，您可能希望将其插入循环以释放内存，然后再重新进入并再次运行。

当然在运行代码之前安装包：

# Install XLConnect
install.packages("XLConnect")

这两件事一起可能足以解决您的问题。

可以在此处找到有关此主题的进一步阅读： “使用 R 和 XLConnect 包时出现内存不足错误（Java）”

于 2020-09-30T16:04:59.327 回答