postgresql - 使用 Typesafe Slick 检索大约 10 亿个大型结果

Question

我正在从事一项需要每天查询 Postgres 的 cron 工作。该表是巨大的〜万亿条记录。平均而言，我希望每次执行检索大约 10 亿条记录。我找不到任何关于在 Slick 2.1.0 中使用游标或分页的文档 我能想到的一种简单方法是，首先获取计数，然后使用 drop 和 take 循环。有没有更好更有效的方法来做到这一点？

Answer 1

使用akka，postgresql-async映射reduce，首先计数然后使用offset+limit查询分发给actor，然后在需要时映射数据，然后将resul减少到elasticsearch或其他存储？