db2 - 如何使用 Apache Apex 将数据从 DB2 批量摄取到 Vertica

Question

用例：从 DB2 中一次性提取事务数据（例如行 = 10,000）并将它们插入到 Vertica 数据库中。

问题：我应该从数据库中获取单行还是批量 10k 行，处理然后插入目标数据库？是否有从一个数据库读取并写入另一个数据库的示例代码？

Answer 1

您可以使用 JDBC 输入和输出运算符从源数据库和目标数据库中获取数据。它们应该具有可配置的批量大小。一般来说，批处理比逐个元组更快。

检查https://github.com/apache/incubator-apex-malhar/tree/master/library/src/main/java/com/datatorrent/lib/db/jdbc

您可以在项目的 src/site/conf 添加多个 XML 配置文件，并在启动时选择其中一个。这在http://docs.datatorrent.com/application_packages/标题为“添加预设配置”的部分下进行了简要描述

Answer 2

您应该始终更喜欢批处理执行，您将最大限度地减少网络往返并提高对 Vertica 的负载。