4

我在 AWS Glue 上以 ETL 形式阅读了多篇文章。但我得到的不多。有人能用简单的话解释一下 AWS Glue 的工作原理吗?它创建了 ENI,但它有什么用?我在某处读到 AWS Glue 作业在 AWS Glue 私有子网中运行,这是真的吗?你能用架构图解释一下吗?还有为什么我们在创建 Glue 连接时需要提供 VPC?

4

1 回答 1

3

为了使概念尽可能简单,请将 AWS Glue 视为 Spark,您可以在其中编写 Python/Scala 脚本来执行特定的数据处理任务,作为可以执行的作业,例如,使用 GlueContext 读取 CSV 文件的 Python 脚本来自 S3 存储桶并将其存储为 JSON。

关于网络和 VPC,您可以在 VPC 和 AWS Glue 之间建立私有连接。您可以使用此连接使 AWS Glue 无需通过公共 Internet 即可与您的 VPC 中的资源进行通信。使用 VPC,您可以控制网络设置,例如 IP 地址范围、子网、路由表和网络网关。

AWS Glue VPC 参考

AWS Glue 概念:

AWS Glue 概念

AWS 参考

于 2020-10-23T16:13:42.067 回答