1

我有一个 sqoop 作业，它将数据写入 s3 存储桶。如果我从命令行运行此作业，它将加密 s3 文件。但是，如果我使用相同的 jar 文件使用 oozie 工作流运行 sqoop 作业，那么它会将数据推送到 s3，但不会发生加密。

下面是我的 oozie 工作流程。

    <java>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <main-class>com.aa.datalake.ingest.util.SqoopIngestUtil</main-class>
        <arg>root</arg>
        <arg>root</arg>
        <arg>test</arg>
    <arg>avro</arg>
    <arg>sqoop-demo</arg>   
    </java>
    <ok to="end"/>
    <error to="email-action" />
</action>

在 jar 中，我们使用 distcp 命令将数据从 hdfs 复制到 s3。

那么如何使用 oozie 工作流对 s3 文件进行服务器端加密呢？

4

1 回答 1

1

我通过在启动集群之前在 EMR 集群中启用 s3 加密解决了上述问题。

于 2017-03-13T05:56:59.963 回答