0

在运行一些 Hive 查询时,我在 EMR 上使用 EMR 一致视图功能。

现在我需要使用 s3-dist-cp 绕过 Hive 接口直接从 s3 访问和复制对象,该接口使用存储在 DynamoDB 中的 EMRFS 一致视图元数据。

当我查找 s3-distp-cp 或其他资源的官方文档时,我没有找到明确的答案。

根据 2017 年夏季的线程,s3-dist-cp 缺乏对 EMR 一致视图功能的支持。

  1. 目前,EMR 版本上的 s3-dist-cp 并未完全使用 EMRFS,并且具有直接使用 aws-java-sdk 的代码。这样做的原因是,在某些情况下,这将比直接使用 EMRFS 提供性能改进。我们已经努力在 s3-dist-cp 中增加 EMRFS 的使用,但还没有。因此,此时,我建议尝试使用 DistCp。

https://forums.aws.amazon.com/thread.jspa?messageID=787883

2020年有什么变化吗?

4

0 回答 0