java - Spark 1.6 在数据帧保持分区字段中加载特定分区

Question

我们有一个这样分区的 avro：

table
--a=01
--a=02

我们希望从保留分区列 a 的单个分区加载数据。我发现了这个 stackoverflow 问题，并应用了建议的代码段：

DataFrame df = hiveContext.read().format(format).
option("basePath", "path/to/table/").
load("path/to/table/a=01")

但是当我尝试阅读该字段时，它会说：

org.apache.spark.sql.AnalysisException: cannot resolve 'a' given input columns: [b, c, d]

在 Spark Java API 1.6 中是否可行？

Answer 1

简单地说，答案是……不，这是不可能的。