hadoop - 从一个集群传输到另一个集群时，hadoop 中的 distcp 是否加密数据

Question

我想知道 distcp 在从一个集群传输到另一个集群时是否可以选择加密数据。我知道它确实支持 S3 集群中的加密，但这与亚马逊的 S3 有关。如果我们将纯文本文件从一个集群移动到另一个集群怎么办。它会被加密还是发送纯文本？如果支持，我们可以启用这种加密吗？

Answer 1

来自 HDFS文档：

一旦设置了 KMS 并且正确配置了 NameNode 和 HDFS 客户端，管理员就可以使用 hadoop 密钥和 hdfs 加密命令行工具来创建加密密钥并设置新的加密区域。可以通过使用 distcp 等工具将现有数据复制到新的加密区域来加密现有数据。

希望能帮助到你。