javascript - 使用 NodeJs 在 Aerospike 中批量导入

Question

我想将数百万条记录作为批处理从 MongoDB 插入到 Aerospike。我按照文档找到了这个文档：http ://www.aerospike.com/docs/client/nodejs/usage/kvs/write.html 但是我们一次只能插入一条记录。

请帮助我如何一次插入数百万个键值。任何优化写操作的建议

Answer 1

由于 Aerospike 具有记录级别锁定，因此写入 Aerospike 的每条记录都将是单个记录写入。看不到如何在一次操作中写入一百万条记录。给定命名空间的记录基于其集合名称和记录键的哈希值均匀分布在 Aerospike 集群中。因此，从客户端写入 Aerospike 集群必须是单独的记录写入。

Answer 2

Aerospike 是一个多节点、多核、多线程的分布式键值数据库。如果您想在尽可能短的时间内执行大量写入操作，则需要利用这一事实并并行执行写入。正如 Piyush 指出的那样，每个对象本身都是作为一次写入写入的，因此您应该将工作拆分到多个客户端和这些客户端中的多个线程。这就是aerospike /aerospike-loader和asrestore等工具的工作原理。

我已经在一篇关于Aerospike internals的单独帖子中描述了它在每个节点内的工作原理。