0

编辑:需要确定哪个更适合从 Teradata 导出大量数据 - Sqoop、TPT 或 fexp

OP:我已经知道 teradata 的快速导出和 TPT 不能用于将数据直接导出到 Hadoop。我可以将数据带到本地环境并将其并行移动到 hadoop。

我想知道哪种工具以最有效的方式从 Teradata 中提取数据。

我必须提取具有巨大数据量的数据集(近 250 亿条记录 ~ 15 TB 大小)。当然,Teradata 中的数据分区良好,我将根据分区和唯一 PI 拆分我的提取策略。

我找不到足够的内容来提供 Teradata 实用程序和 Sqoop 之间的直接比较。

哪种工具对 Teradata 环境中当前正在运行的作业的影响最小,并以最优化的方式提取数据。

4

1 回答 1

1

当然 Teradata 的 FastExport 不能用于直接导出到 Hadoop,它是一个旧的遗留工具,不再增强。

任何新的开发都应该使用 TPT 来完成,例如

使用 DataConnector 操作符在 Hadoop 中写入文件和表

常见数据移动作业

于 2018-02-12T09:38:20.553 回答