我正在尝试将对象列表批量加载到单列(主键)数据库中。唯一的原因是删除重复项。我无法将列表加载到内存中,因为文件大小远远大于我的内存大小(我需要大约 10^14 次插入!)。
我使用 monetdb 的COPY-INTO命令,但我不希望它在重复时失败。我希望它添加所有不重复的内容并跳过重复项。
有没有办法用 monetdb 做到这一点?还有什么办法吗?
我正在尝试将对象列表批量加载到单列(主键)数据库中。唯一的原因是删除重复项。我无法将列表加载到内存中,因为文件大小远远大于我的内存大小(我需要大约 10^14 次插入!)。
我使用 monetdb 的COPY-INTO命令,但我不希望它在重复时失败。我希望它添加所有不重复的内容并跳过重复项。
有没有办法用 monetdb 做到这一点?还有什么办法吗?