hadoop - 针对 S3 的 oozie fs 操作未更新 S3 存储的清单（DynamoDB 元存储 - emrfs 不同步）中的密钥

Question

从理论上讲，在使用 HDFS CLI 运行 hdfs 命令时，

hdfs dfs -touchz s3://bucketname/folder/file

它通过 EMRFS 并在创建 S3 条目时更新 dynamodb 中 MANIFESTS 中的键。

emrfs diff - 在 S3 和清单（Dynamodb）中都说。到目前为止一切都很好。

当我尝试对 s3 文件运行以下 oozie fs 操作时，我注意到该操作没有通过 EMRFS 发生，因为我没有看到 MANIFESTS (dynamodb) 中的键。

emrfs diff - 表示 S3 中的文件，但不在 MANIFESTS (Dynamodb) 中。

<action name="fs_action">
    <fs>
    <name-node>${nameNode}</name-node>
        <touchz path='folder/file'/>
    </fs>
</action>

只是想知道 oozie fs 操作是否在屏幕后面使用 emrfs，因为它是从 oozie 服务器本身运行的。只是想了解 oozie fs 对 s3 的屏幕背后发生了什么？

提前致谢。

Answer 1

Oozie 是不使用 EMRFS 与 S3 交互的 Hadoop 应用程序之一。

EMR 上有一些应用程序（例如 Presto 和 Oozie）不使用 EMRFS 与 S3 交互

EMRFS