我想使用 AWS Data Pipeline 启动一个 EC2 实例,然后运行一个存储在 S3 中的 python 脚本。
可能吗?我想使用 python 脚本制作一个 ETL 步骤。
这是最好的方法吗?
我想使用 AWS Data Pipeline 启动一个 EC2 实例,然后运行一个存储在 S3 中的 python 脚本。
可能吗?我想使用 python 脚本制作一个 ETL 步骤。
这是最好的方法吗?
是的,使用 Shell Command Activity 是可能的并且相对简单。
我相信从您迄今为止提供的详细信息来看,这似乎是最好的方法 - 因为 DataPipeline 为您按需提供 EC2 实例并随后将其关闭。
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html
还有一个教程,您可以按照该教程来适应 Data Pipeline 的 ShellCommndActivity。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-gettingstartedshell.html
是的,您可以直接在 s3 中上传和备份您的数据
http://awssolution.blogspot.in/2015/10/how-to-backup-share-and-organize-data.html