0

使用 Vora 无法在 Scala 中查看数据。

VORA：1.2 Spark：1.5.2 / Spark 控制器：1.5.8

hdfs 文件“内容”显示正常。

hdfs dfs -cat /user/vora/XXXXXXXX/part-00000 AB05,560 CD06,340 EF07,590 GH08,230

表格在“show datasourcestables”命令中显示良好

scala> vc.sql(s"""SHOW DATASOURCETABLES USING com.sap.spark.vora""".stripMargin).show 输出

显示表在 Scala 中失败 scala> vc.sql("select * from VVCSV").show

scala> vc.sql("select * from VVCSV").show

java.lang.RuntimeException：找不到表：VVCSV at scala.sys.package$.error(package.scala:27​​) at >org.apache.spark.sql.catalyst.analysis.SimpleCatalog.lookupRelation(Catalog.scala:139 ) 在 >org.apache.spark.sql.extension.ExtendableSQLContext$$anon$2.org$apache$spark$sql$catalyst$analysis$OverrideCatalog$$super$lookupRelation(ExtendableSQLContext.scala:52) 在 >org.apache。 spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply(Catalog.scala:203) at >?>org.apache.spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply( Catalog.scala:203) 在 scala.Option.getOrElse(Option.scala:120)

4

1 回答 1

0

命令show datasourcetables在 Vora1.2 中被弃用并被替换为show tables using com.sap.spark.vora. 但是，该命令仅显示 Vora 目录中保留的内容。要在当前 Spark 上下文中加载表（例如重新启动 spark-shell 后），您需要运行以下register tables命令：

vc.sql("register all tables using com.sap.spark.vora").show

要检查当前 Spark 上下文中的内容，您可以使用该show tables命令（不带“using”子句）。有关更多详细信息，您可以查看Vora 开发人员指南和 Spark 文档。

于 2016-04-19T01:06:59.537 回答