在 AWS 胶水中运行进程时，是否有一个临时文件夹可以访问以临时保存文件？例如，在 Lambda 中，只要进程正在执行，我们就可以访问 /tmp 目录。我们在 AWS Glue 中是否有类似的东西可以在作业执行时存储文件？
问问题
7434 次
2 回答
4
你问这个吗？AWS Glue 可以识别和使用许多参数名称，您可以使用这些名称为您的作业和 JobRuns 设置脚本环境：
- -- TempDir — 指定存储桶的 S3 路径，该存储桶可用作作业的临时目录。
这是一个链接，您可以参考。
希望这可以帮助。
于 2018-01-17T10:15:36.583 回答
2
是的，有一个 tmp 目录，您可以使用它来将文件移入和移出 s3。
s3 = boto3.resource('s3')
--下载文件到本地spark目录tmp
s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)
您还可以将文件从 'tmp/' 上传到 s3。
于 2018-07-31T02:59:01.790 回答