0

在正常操作中，可以向谷歌存储 API 提供加密密钥以加密给定的存储桶 /blob：https://cloud.google.com/compute/docs/disks/customer-supplied-encryption

这对于“即时”输出 spark/hadoop 作业是否可行？

假设我们想加密 spark write 的输出

 df.write().format("json").save("gs:///somebucket/output");

在https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml中，无法指定加密密钥。

这可能吗？

4

1 回答 1

1

如果您询问客户提供的加密密钥当前是否在 Cloud Dataproc 上可用，答案是否定的。以下是 Google 当前用于静态加密的产品选项列表。

如果您只是想加密 Spark 写入的输出，您仍然可以使用 Google 的 Cloud KMS 在应用程序层对其进行加密。这是在 Google Cloud Storage 中执行此操作的代码实验室（看起来就像您使用上面的命令所做的那样）。请注意，在存储层默认情况下，Google 云平台上的客户内容是静态加密的，因此这是另一层保护。

于 2017-05-10T14:02:53.373 回答