1

我有一个返回大量数据的查询,我想使用提取大小将这些数据从 postgres 流式传输到 scala。我的代码看起来像这样

  override def getFilteredData(filters: Seq[Filter]): StreamReadySQL[myObject] =  {
      sql"""  QUERY
        """.stripMargin
           .fetchSize(2000)
           .map(MyObject(_))
           .iterator()
  }

在其他课程中,我这样称呼它

  val productPublisher: DatabasePublisher[RuleData] = {
    DB readOnlyStream {
      repositories.productRepository.getFilteredData(trigger.filters)
    }
  }

  Source.fromPublisher(publisher).mapAsync(Parallelism) { batch =>
    //do something
    Future.successful(().asRight[ApplicationError])
  }.runWith(Sink.head[Either[ApplicationError, Unit]])

使用此代码,上面的源将只返回最后 n 个获取的条目,如何从可以迭代所有数据的流中获取迭代器?

4

0 回答 0