我在 AWS 的 hadoop 集群上使用 distcp。现在我们正在切换以将 IAM 角色用于集群节点。我要尝试的一个解决方案是添加我自己的 org.apache.hadoop.fs.s3native.NativeS3FileSystem 实现，它会像 AWS InstanceProfileCredentialsProvider 一样更智能并使用 IMDS。但是，是否有可用的解决方案使 distcp 与临时安全凭证一起工作？查看 NativeS3FileSystem 和相关类，看起来我需要复制大部分代码才能使凭据查找使用 IMDS。