我是一名 Python 开发人员，具有很好的 RDBMS 经验。我需要处理相当大量的数据（大约 500GB）。数据位于 s3 存储桶中的大约 1200 个 csv 文件中。我用 Python 编写了一个脚本，可以在服务器上运行它。但是，速度太慢了。根据目前的速度和数据量，通过所有文件大约需要 50 天（当然，截止日期在此之前是很好的）。
注意：处理是您的基本 ETL 类型的东西 - 没什么可怕的幻想。我可以轻松地将其泵入 PostgreSQL 中的临时模式，然后在其上运行脚本。但是，再一次，从我最初的测试来看，这会变慢。
注意：一个全新的 PostgreSQL 9.1 数据库将是它的最终目的地。
因此，我正在考虑尝试启动一堆 EC2 实例以尝试分批（并行）运行它们。但是，我以前从未做过这样的事情，所以我一直在四处寻找想法等。
同样，我是一名 python 开发人员，所以 Fabric + boto 似乎很有希望。我不时使用boto，但从未使用过Fabric。
我从阅读/研究中知道，这对于 Hadoop 来说可能是一项很棒的工作，但我不知道，也负担不起雇用它完成的费用，而且时间线不允许学习曲线或雇用某人。我也不应该，这是一种一次性的交易。所以，我不需要构建一个非常优雅的解决方案。我只需要让它工作并能够在今年年底之前获得所有数据。
另外，我知道这不是一个简单的 stackoverflow 问题（类似于“如何在 python 中反转列表”）。但是，我希望有人读到这篇文章并“说，我做了类似的事情并使用 XYZ ......这太棒了！”
我想我要问的是有没有人知道我可以用来完成这项任务的任何东西（鉴于我是一名 Python 开发人员，我不知道 Hadoop 或 Java - 并且有一个紧迫的时间表可以防止我正在学习 Hadoop 等新技术或学习一门新语言）
谢谢阅读。我期待任何建议。