1

我正在尝试对来自BigDataBenchmark的查询进行基准测试。这样做时，我正在从 Spark 的 Web UI 收集信息。

我一直在保存结果，但是，通过使用CREATE TABLE results as ...构造隐式保存。我可以验证查询结果数据是否正确保存到 HDFS 中的永久磁盘。但是，我看不到作业/阶段的输出指标（参见图像中的列）的任何值，以下示例用于查询：CREATE TABLE results as SELECT * FROM rankings where pageRank > 1000 输入图片描述

后续调查是查看 Spark 是否无法计算输出，因为这是一个 Hive 查询。所以为了调查，我恢复到本地磁盘输入并保存到本地磁盘。我发布了以下内容：

sqlContext.sql("SELECT * FROM rankings where pageRank > 1000" ).write.save("file:///somewhere/on/disk")

输出指标仍然为空。

我是否误解了 Spark 的输出意味着什么？

4

0 回答 0