kdb - Q/kdb+ 分块读取日志文件

Question

我有一项任务需要我加载对我的内存来说太大而无法立即加载的日志文件。因此我需要通过不同的块加载文件的方法..

我知道：

-11!(n; filename)

从文件中加载第一个 n 块，但是如何加载其余的块？

谢谢！

Answer 1

如果是典型的tickerplant 设置，您的日志文件可能会调用函数upd。覆盖该函数以在第二次运行时忽略初始值，而不将它们插入表中，从而允许您将加载拆分为多个部分。

upd:{i+:1; if[i within 100000 200000; ignore x; storeSomewhere x]};

然后播放整个文件-11!。通过更改 if 子句中的条件来控制实际存储的部分。