machine-learning - 调用 GET /3/Jobs h2o 模型训练时出错 大数据上的错误

Question

我正在尝试在大数据（200 万交易数据）上构建模型并低于错误。在进度条中模型构建没有进展，一段时间后作业停止并出现以下错误。我们在单节点和 h2o 中运行不分发。请建议这是否与内存问题有关。比如如果我们有 20 GB 的训练数据，那么应该给 h2o 多少内存，堆大小？是否所有完整的训练帧都存储在堆内存中？

Error fetching job '$03010a010d6832d4ffffffff$_9bf0e32df1dba1c2d24eb8a513f47a4'
Error calling GET /3/Jobs/%2403010a010d6832d4ffffffff%24_9bf0e32df1dba1c2d24eb8a513f47a4
HTTP connection failure: status=error, code=503, error=Service Temporarily Unavailable

谢谢迪普蒂

Answer 1

由于内存不足，H2O 集群可能会关闭，并且您的客户端会失去与它的通信。您需要查看 H2O 日志以确定错误/原因。

一般的经验法则是拥有大约 4 倍的数据集内存。请参阅文档。在您的情况下，您应该需要大约 80GB 来处理数据操作和建模。