我目前正在研究一个需要数据加密的 Hadoop 项目(因为数据将存储在 S3 中)。虽然我主要希望通过 Hive 访问数据,但能够通过 Pig 和任何其他 MapReduce 方法访问它会很好。
我知道 Hadoop 内置了对 gzip、snappy 等压缩编解码器的支持……是否也支持加密编解码器(特别是 GPG)?有没有人写过公开可用的 GPG SerDe(或类似的东西)?
我目前正在研究一个需要数据加密的 Hadoop 项目(因为数据将存储在 S3 中)。虽然我主要希望通过 Hive 访问数据,但能够通过 Pig 和任何其他 MapReduce 方法访问它会很好。
我知道 Hadoop 内置了对 gzip、snappy 等压缩编解码器的支持……是否也支持加密编解码器(特别是 GPG)?有没有人写过公开可用的 GPG SerDe(或类似的东西)?
最后我知道 Hadoop 对加密没有任何内部支持。似乎你可以用你的 GPG 代码重载 CompressionCodec,ala http://www.mail-archive.com/common-user@hadoop.apache.org/msg06229.html
黑客攻击快乐,如果您找到解决方案,请告诉我们!