hadoop - 在 s3n 上查询 Orc 文件非常慢

Question

只要我在 hdfs 上查询我的 ORC 文件，一切都很好而且非常快 - 但是当我想查询存储在 S3 上的数据时，速度非常慢并且查询无法完成。

我正在使用 Hive 0.12 我的创建语句看起来像这样

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...'; 

在我看来，这似乎与 ORC + Presto + S3 存在相同的问题（请参见此处），但我找不到 Hive 的类似问题

Answer 1

S3在冷藏方面是一个非常好的存储空间。但是它并不真正适合 HDFS 空间。S3 数据以大约 50Mbps 的速度移动（可能或多或少，但比 HDFS 慢得多）。您可以在速度和成本之间做出选择。