azure - 如何导出完整结果 Databricks Azure

Question

我正在使用命令“display”示例通过完整下载结果选项从数据块中手动导出数据

display (predictions.select ("productid", "prediction"))

但它只返回 1,000,000，我还有更多记录。关于导出完整结果，DataBricks 是否有任何限制？

如何下载所有结果？

score 1 · Accepted Answer

是的，databricks 仅显示有限的数据框。它允许您像 csv 一样下载数据，但我想它也有限。您可以使用以下命令将数据框保存为 databricks 数据库中的表：

predictions.select("productid", "prediction").write.saveAsTable("predictions")

然后你可以加载它：

predictions = spark.table('predictions')

1 回答 1