1

我正在使用 DSBulk 实用程序将数据从 EC2 Cassandra 节点迁移到 DataStax Astra（高级帐户）。

使用的命令： dsbulk load -url folder_created_during_unload -header true -k keyspace -t table -b "secure-connect-file.zip" -u username -p password

该命令在几秒钟后给出错误。在检查文档时，我发现我可以添加--executor.maxPerSecond这个命令来限制加载。

在此之后，加载命令执行没有任何错误。但是如果我输入一个超过 15,000 的值，加载命令会再次开始给出错误。

在此处输入图像描述

现在，如果一个表有超过 100M 的条目，并且每秒迁移 15,000 个条目，那么完成一个表的迁移需要数小时和数小时。迁移完整的数据库需要几天时间。

我想了解导致此错误的原因以及是否有办法以更高的速度加载数据。

4

2 回答 2

2

这里发生的是 DSBulk 正在达到数据库的速率限制。目前，似乎增加该速率限制的唯一方法是提交支持请求。

要提交工单，请查找 Astra 仪表板左侧导航的“其他资源”部分。点击底部的“获取支持”。

获取支持位于页面的左下角。

弹出“帮助中心”后，点击右下角的“创建请求”。

创建请求位于帮助中心的右下角。

在下一页上，单击右上角的绿色/青色“提交工单”按钮。描述您遇到的问题（速率限制）以及设置为超过 15k/秒时 DSBulk 输出的内容。

在此处输入图像描述

于 2021-09-29T18:29:46.237 回答
1

为了增加 Aaron 的响应，您在Astra DB上达到了每秒 4K 操作的默认限制。

上周，当我们检测到您已达到限制但尚未收到回复时，我们直接与您联系。我今天再次直接与您联系，让您知道我已代表您记录了增加数据库限制的请求。干杯!

于 2021-09-29T22:47:45.200 回答