0

我想从 Azure SQL DB 表中读取 5+ 百万个事件并对 Cassandra 执行 BULK INSERT。该表有 2 列。我看到可用于从 Azure SQL DB 读取的 SQL 组件。https://camel.apache.org/components/3.7.x/sql-component.html

问题：从 Azure SQL DB 消费

  1. 考虑到 5M 条记录，有没有更好的方法来读取所有行并存储在地图中？
  2. 是否有可能批量阅读消息？

Cassandra 有一个可用的 cql 组件 https://camel.apache.org/components/3.7.x/cql-component.html

问题：生产到 Cassandra

  1. 我们可以分批插入吗？

我可以在这个用例中使用骆驼吗？

4

1 回答 1

1

对于 Azure 数据库中的每个表，我们建议您将数据导出到 CSV 文件中。有很多工具和方法可以让你做到这一点。例如，查看从 Azure SQL 数据库导入和导出数据。

将数据导出到 CSV 后，您可以使用DataStax Bulk Loader工具 (DSBulk) 将其批量加载到 Cassandra 表中。

以下是一些示例参考，可帮助您快速入门：

DSBulk 是开源的，因此可以免费使用。干杯!

于 2021-08-17T09:25:02.750 回答