kdb - 如何保证一个kdb分区表数据不重复？

Question

我创建了一个从日常存储文件中获取数据的分区数据库。它工作正常，但我担心如果我用同一天的文件运行分区脚本两次，kdb 可能会添加重复的行。

我应该使用'key'来检查分区表的存在还是有一种更简单的方法来确保kdb不会复制存储的数据？

Answer 1

我不确定你的问题是否是 1）你害怕你会多次加载同一个文件，或者 2）多个文件可能包含相同的数据，所以你不希望后续加载创建重复。

对于 1)，如果您用于创建数据库的每日存储文件未更新到并且具有唯一名称，您可能会跟踪哪些文件已加载并在后续运行时跳过这些文件。

2) 即使您不能对表进行物理键控，您也可能有某些“键”列，例如符号、日期、时间、边等。您可以检查当前正在加载的块的“键”值是否已经出现在日期分区。如果他们这样做，请删除这些记录，同时保留其他记录。