presto - 将数据集从文本文件格式转换为“presto-orc”格式以获得更好的 prestoDB 性能

Question

我检查了这个博客https://code.facebook.com/posts/370832626374903/even-faster-data-at-the-speed-of-presto-orc/。

如何使用这种“presto-orc”文件格式？

我在 S3 中有文本格式的数据。我想以“presto-orc”格式重写。

我一般使用 hive 将数据写入 ORC/RCFile/Parquet。

Answer 1

没有特殊的“presto-orc”格式。Presto 有一个针对标准 ORC 格式（和 Facebook DWRF 变体）的优化阅读器。

您可以使用任何支持它的程序在 ORC 数据中写入文件：Hive、Presto、Spark 等。