amazon-web-services - 如何在 AWS 胶水中使用从一个胶水脚本到另一个胶水脚本的函数

Question

我有一个 AWS 胶水 pyspark 脚本，例如 scriptA.py。在这个脚本中，我定义了一些通用函数，例如 readSourceData()

def readSourceData（参数1，参数2）：

//函数逻辑

现在我想在我的 secong glue pyspark 脚本 scriptB.py 中使用这个通用函数。

我有很多这样的通用功能。如何导入这些函数并在其他脚本中使用它们？

Answer 1

您可以使用通用函数创建模块，并将这些外部 python 模块附加到胶水作业中。更多关于这你可以在这里阅读。

广泛的答案：

1. 您将通用函数捆绑在python 模块中。
2. 然后你 .zip 模块并将其上传到 S3。
3. 您将 S3 中的模块路径添加到 Python 库路径字段中的 Glue 作业

确保您的工作角色有权访问 S3 中的位置。