predictionio - 训练大数据时引擎挂起

Question

在训练 400 000 条记录（大约 200 MB）时，我遇到了类似产品模板 als 的问题。它在第 13 阶段停止：====================== [0 + 1] / 2

有人可以帮我吗？

Answer 1

启动命令时，您正在使用 mini Spark 服务器：

pio train

这个迷你服务器资源有限。您需要启动自己的 Spark 集群。它可以在与您的 PredictionIO 服务器相同的机器上启动。您需要使用以下命令独立启动 Spark：

./PredictionIO/vendors/spark-1.5.1/sbin/start-master.sh --webui-port 8180
./PredictionIO/vendors/spark-1.5.1/sbin/start-slave.sh spark://localhost:7077 --webui-port 8181

然后，您可以通过以下命令使用该 Spark 实例进行训练：

pio train -- --master spark://localhost:7077 --driver-memory 4G --executor-memory 8G

如果spark://localhost:7077无法访问，您可以使用 8180 端口打开 Webui 以查看 master 的 URL（页面的第一行）。使用该 URL 连接您的奴隶和您的火车。