在 MonetDB(特别是“MonetDBLite”R 包中的嵌入式版本)中说,我有一个表“事件”,其中包含实体 ID 代码和事件开始和结束日期,格式为:
| id | start_date | end_date |
| 1 | 2010-01-01 | 2010-03-30 |
| 1 | 2010-04-01 | 2010-06-30 |
| 2 | 2018-04-01 | 2018-06-30 |
| ... | ... | ... |
该表包含大约 8000 万行事件,可归因于大约 250 万个唯一实体(ID 值)。日期似乎与日历季度很好地对齐,但我没有彻底检查它们,所以假设它们可以是任意的。但是,我至少对它们进行了 end_date > start_date 的感觉检查。
我想生成一个表“nonevent_qtrs”,列出 ID没有记录事件的日历季度,例如:
| id | last_doq |
| 1 | 2010-09-30 |
| 1 | 2010-12-31 |
| ... | ... |
| 1 | 2018-06-30 |
| 2 | 2010-03-30 |
| ... | ... |
(doq = 季度日)
如果事件的范围跨越该季度的任何一天(包括第一个和最后一个日期),那么我希望它被视为在该季度发生。
为了解决这个问题,我制作了一个“日历表”;季度表“qtrs”,涵盖“事件”中出现的整个日期跨度,格式为:
| first_doq | last_doq |
| 2010-01-01 | 2010-03-30 |
| 2010-04-01 | 2010-06-30 |
| ... | ... |
并尝试像这样使用非 equi 合并:
create table nonevents
as select
id,
last_doq
from
events
full outer join
qtrs
on
start_date > last_doq or
end_date < first_doq
group by
id,
last_doq
但这是 a) 非常低效和 b) 肯定是错误的,因为大多数 ID 都被列为所有季度都没有事件。
如何生成我描述的表“nonevent_qtrs”,其中包含每个 ID 没有事件的季度列表?
如果相关,最终用例是计算非事件的运行以查看事件发生时间分析和预测。感觉需要运行长度编码。如果有比我上面描述的更直接的方法,那么我会全神贯注。我开始关注非事件运行的唯一原因是尝试限制交叉产品的大小。我也考虑过制作类似的东西:
| id | last_doq | event |
| 1 | 2010-01-31 | 1 |
| ... | ... | ... |
| 1 | 2018-06-30 | 0 |
| ... | ... | ... |
但是,尽管更有用,但由于所涉及数据的大小,这可能不可行。宽格式:
| id | 2010-01-31 | ... | 2018-06-30 |
| 1 | 1 | ... | 0 |
| 2 | 0 | ... | 1 |
| ... | ... | ... | ... |
也会很方便,但由于 MonetDB 是列存储,我不确定这是否或多或少有效。