1

我正在使用 MLLib 来训练随机森林。深度 15 可以正常工作,但如果我使用深度 20,我会得到

java.lang.OutOfMemoryError:请求的数组大小超过 VM 限制

在驱动程序上,来自 DecisionTree.scala 中的 collectAsMap 操作,在第 642 行附近。直到训练一个小时后才会发生。我在 36 个从站上使用 50 棵树,maxMemoryInMB=250,但即使我使用 240G 的驱动程序内存,仍然会出错。

以前有没有人在这种情况下看到过这个错误,并且可以就可能触发它的原因提出建议?

最好的,卢克

4

0 回答 0