2

使用 dsbulk 将数据从 .csv 文件加载到表中时遇到问题。我在错误日志中得到如下所示。

引起：com.datastax.driver.core.exceptions.OperationTimedOutException：[/10.0.126.13:9042] 等待服务器响应超时

这个环境是我们的3个节点，8个CPU，64G内存的POC环境。根据我的观察，当我运行 dsbulk 命令时，它会耗尽服务器上的所有 CPU，并且内存消耗也很高。

如果你能给我一个微调 dsbulk 的指针，通过它可以减少 cpu 使用/内存消耗。如果此操作变慢并且我获得可管理的性能，我可以接受。

4

2 回答 2

2

您可以指定--executor.maxPerSecond限制每秒操作数的选项。请参阅DSBulk 的文档。

您也可以尝试调整批处理选项，例如--batch.maxBatchStatements.

并且还建议从单独的机器上运行 DSBulk 以防止它影响 DSE 的性能。（这是所有负载测试等的常见建议）

于 2019-03-22T07:59:14.780 回答
0

谢谢大家的帮助，我可以通过下载最新版本的 debulk 并将批量大小设置为 5000 来解决此问题。

于 2019-03-23T20:51:32.957 回答