语境:
我正在处理一个发送数据的 API,其中每条记录都有两个日期字段 -
createdAt
validatedAt
.
API 还提供了 3 个日期过滤器来限制记录的数量 -
createdStartDate
createdEndDate
validatedAfter
.
createdStartDate
&createdEndDate
过滤器根据createdAt
字段限制记录,而validatedAfter
过滤器根据validatedAt
字段限制记录。
API 至少需要两个过滤器(createdStartDate
&validatedAfter
或createdStartDate
&createdEndDate
等)
可以在任何时间点验证记录,因此记录可能具有空validatedAt
值。每条记录也有一个唯一的标识符。
问题:
我关心的所有数据都需要有一个非 null validatedAt
。
从 2019 年到今天,我必须从此 API 中检索数据。然后再往前,每 5 天,我想拉出这 5 天里已经验证过的新记录集。这是为了避免每次都提取所有数据。
我的数据需要准确且不能遗漏任何经过验证的记录。我怎样才能做到这一点?
我试过的:
我想将createdStartDate
过滤器设置为 2019,validatedAfter
过滤器也设置为 2019。这将获取我需要的数据,直到今天 - 7 月 9 日。然后 5 天后,我可以将validatedAfter
过滤器更改为 7 月 9 日,它应该会给我新验证的数据。并继续这样。
这里的问题是这样一个过滤器的数据量太大了,我面临着 API 不支持返回这么多数据的超时。我需要分开通话。
任何帮助都会很棒!