amazon-data-pipeline - 使用 AWS Data Pipeline 将本地数据复制到 S3

Question

如何使用 AWS Data Pipeline 将数据从本地 SQL 数据库导入 Amazon S3？任何教程的链接都会对我有很大帮助。

Answer 1

您将需要在本地运行 Task Runner。该任务运行程序可以执行可以将数据从 SQL 数据库导出到 S3 的管道。

如果你的数据库是MySQL，可以直接导出数据。如以下教程所示。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html

如果不是 MySQL，那么需要自己写一个导出作业。例如。使用 Talend DI 创建 ETL 脚本并将 Talend 作业包装在 Shell Activity 中。

还有一个本地 Task Runner 模板。
http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-localmysqltords.html