amazon-web-services - Talend 作业以较慢的传输速率运行

Question

我是 talend 新手，经验非常有限，我的任务需要每天执行从 sql rds 到 redshift 的每日增量更新，但是我的工作以非常慢的传输速率运行，详细信息如下所列

我的 sql rds 查询是

SELECT
    *  
FROM
    test.ankit2 
WHERE
    id > (SELECT COALESCE(max(id), 0) as id FROM test.stagetable)

ankit2 是 myrds 中的表，stagetable 是 redshift 中的表，使用 tmap 组件将组件从 rds 输入链接到 redshift 输出组件 请看一下图片

请查看并提供您的建议关于 Ankit Talend Etl 工作的任何帮助将不胜感激

Answer 1

为获得最佳 Redshift 性能，请使用tRedshiftOutputBulkExeccomponent 而不是tRedshiftOutput. 它将使用选定的 S3 存储桶将数据存储为 csv，并利用超快速COPY命令（通过这种方法，我设法提高了 20000 行/秒的写入速度）。

如果可能，最好从 RDS 直接卸载到 S3。