etl - 如何使用 scriptella 从 amazon S3 读取文件并加载到数据库中，比如 postgres。有关如何为 aws S3 构建新连接器的任何指示？

Question

如何使用 scriptella 从 amazon S3 读取文件。我没有看到任何 S3 连接器。一般来说，如何使用 http/https 访问一组远程文件。增强 AbstractConnection 来实现这一点是多么容易。欢迎任何指点。

Answer 1

由于您无需身份验证即可访问这些文件，因此您可以使用与本地文件相同的连接器：它们应该支持 http url（我仅尝试使用 csv 驱动程序和保管箱中的 csv 文件并且它有效）：

<connection id="in" driver="csv" url="http://hostname.s3.amazonaws.com/csv_files/file1.csv"/>