vertica - 最佳 Vertica 数据加载技术？

Question

大家好！！-我在查看数据如何加载到 Vertica 时遇到一些问题！我需要知道这里是否有任何 Verticas dba！你们是怎么做到的？？

我的意思是我有其他 RDBMS 作为前端，而 Vertica 在后面运行所有艰苦的工作等。由于 vertica 的事务性不能很好地工作！（更新速度很差）。

所以请我需要一些帮助！就像一个复制工具，或者如果它是用脚本或 ETL 完成的（哪个工具更好）！谢谢

score 1 · Accepted Answer

1

我使用 Talend Open Studio (http://www.talend.com/)

于 2012-12-18T15:26:02.927 回答

score 1 · Accepted Answer

1

尝试使用带有 Direct Option 的 Vertica COPY 命令。它用于批量加载。

于 2013-06-24T11:14:41.960 回答

score 0 · Accepted Answer

对于 oracle，请查看 wisdowforce。对于 MySQL，请查看 Tungsten 复制器。或者您可以使用 UDL/外部表。最后，有很多方法，需要更多细节来确定最适合您的方法。

score 0 · Accepted Answer

使用 Talend 等 ETL 工具定期将数据从 OLTP 数据库同步到 Vetica。这可以处理多个异构数据源和复杂的转换。

如果您使用 VoltDB（用于 OLTP 的 Vertica 的姐妹），请在 VoltDB 中添加仅导出表并将数据同步到 Vertica。

score 0 · Accepted Answer

我的意思是我有其他 RDBMS 作为前端，而 Vertica 在后面运行，完成所有艰苦的工作等。

我不明白这意味着其他系统上的数据与 Vertica 上的数据之间的关系。您的整体数据策略是什么？您是否有需要加载块的整体文件？您对 Vertica 更新速度的抱怨表明您可能有很多小更新？

如果您有大文件，最佳实践实际上是使用 vsql 本身加载，文件位于 Vertica 节点之一。无论如何，这是最快的。您可以编写一个加载器，通过 JDBC 从远程机器流式传输大文件。我的公司就是这样做的，而且速度相当快。

如果您有很多要经常发送的小行，那么 Vertica 就不那么好了。我们也这样做，但速度较慢。

score 0 · Accepted Answer

如果您有兴趣使用 Talend（ETL 工具）设置 HP Vertica 数据插入或更新，那么我有一篇您可能感兴趣的博文：HP Vertica 在 Talend 中的使用

6 回答 6