crate - 如官方网站所述，如何调整 cratedb 以每秒获得 40000 次插入

Question

我正在对 cratedb 进行基准测试，每条记录有 40 列，记录大小在 300 字节到 1kb 之间变化。

我只能在单线程上每秒插入 500 次。

将 cratedb 1.0.1 与 python 客户端一起使用。具有 16 个 CPU 和 32GB RAM 的机器。

请帮助我如何提高性能。以及在什么条件下我们可以获得官网中提到的每秒 40,000 次插入。

提前致谢

Answer 1

每秒 40k 次插入对于 CrateDB 是可行的，应该不是一个大问题。但是，在单个线程中，性能可能较低，具体取决于响应时间。如果可能，建议使用多线程插入过程（或至少是异步的），因为 CrateDB 可以处理相当多的并发连接。40k 是通过多个发出批量请求的单个线程实现的。

因此，您遇到的性能问题可能有几个原因：

• 您的机器没有 SSD（SSD 对于获得最佳性能至关重要）
• 表的分片数太高/太低
• 环境CRATE_HEAP_SIZE变量设置不正确
• 您的散装尺寸可能更高

你能检查所有这些吗？

干杯，克劳斯