amazon-s3 - 从 EC2 实例读取 S3 内的文件

Question

我想使用 AWS Data Pipeline 启动一个 EC2 实例，然后运行一个存储在 S3 中的 python 脚本。

可能吗？我想使用 python 脚本制作一个 ETL 步骤。

这是最好的方法吗？

Answer 1

是的，使用 Shell Command Activity 是可能的并且相对简单。

我相信从您迄今为止提供的详细信息来看，这似乎是最好的方法 - 因为 DataPipeline 为您按需提供 EC2 实例并随后将其关闭。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

还有一个教程，您可以按照该教程来适应 Data Pipeline 的 ShellCommndActivity。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-gettingstartedshell.html

Answer 2

是的，您可以直接在 s3 中上传和备份您的数据

http://awssolution.blogspot.in/2015/10/how-to-backup-share-and-organize-data.html