spotify-scio - 如何将 SCollection[String] 转换为 Seq[String] 或 List[String]？

Question

我想转换SCollection[String]为Seq[String]or List[String]。

例如，我有一个名为 ids 的变量。

val ids: SCollection[String] = ~
ids.saveAsTextFile(pathToGCS) 

当我将它保存到 Cloud Storage 时，文本文件的内容是一个 ID 表。

id1
id2
id2

我想将文件的内容保留为 Seq 或 List。

val seqOdIds: Seq[String] = ~

Answer 1

不在同一个工作中，因为 Dataflow 没有像 Spark 这样的驱动节点的概念来从工作节点收集数据。请参阅https://spotify.github.io/scio/Scio%2C-Scalding-and-Spark.html#scio-and-spark

您可以在作业完成后使用 tap API 读取文件内容。请参阅 https://spotify.github.io/scio/examples/TapOutputExample.scala.html