2

我正在尝试通过使用 Alluxio 来减少 Spark 用于读取和写入数据的时间。

但是我发现我必须指定读取数据的路径。

我发现可以使用 Hive 的 metatool 将 Hive 的仓库从 HDFS 改为 Alluxio，这样我就可以通过 Spark sql 向 Alluxio 写入数据。但是我不知道如何通过sql读取Alluxio的数据。

有没有办法像 Hive 一样读/写 Alluxio 的数据？也许读取 Alluxio 的元数据并将其添加到 Metastore？

4

1 回答 1

1

您需要做的就是修改 的元存储location中的表Spark。

您可以查看Alluxio以获取详细信息，如果 table location alter 花费的时间太长，请查看此线程以获取帮助。

请注意，第一次查询该表时，Alluxio将从 UFS 获取数据。数据存入后Alluxio，你以后的表查询将直接从中读取数据Alluxio。

于 2019-11-21T08:02:53.140 回答