0

我在 Talend 中创建了一个工作来从 Salesforce 中捕获数据并将其作为目标放入雪花中。为此,我遵循了以下架构。

tsaleforceinputComponent -----> tsnowflakebulkoutput -----> tsnowflakeBulkExec

我在 tsaleforcecomponent 中使用查询模式并尝试捕获机会表数据。该表有大约 400 万条记录。当前作业首先使用 tsnowflakebulkloutput 将数据复制到 azure blob 作为暂存区域,然后使用 tsnowflkaebulkexec 组件将其复制到雪花中。

该作业在远程服务器上执行,配置如下:

RAM: 16 GB
vCore: 4

目前所用时间约为 11 小时。

有什么方法可以提高工作或远程服务器的性能,以减少市场上其他工具花费的时间。

如果需要更多详细信息,请告诉我。谢谢

4

0 回答 0