google-cloud-dataflow - beam.io.WriteToText 在每个值后添加新行 - 可以删除吗？

Question

我的管道类似于以下内容：

parDo return list per processed line |  beam.io.WriteToText

beam.io.WriteToText 在每个列表元素之后添加一个新行。如何删除这个新行并用逗号分隔值，以便能够构建 CSV 文件

非常感谢任何帮助！谢谢，埃拉兰

Answer 1

要删除换行符，您可以使用以下命令：

beam.io.WriteToText(append_trailing_newlines=False)

但是对于在值之间添加逗号，TextIO 上没有开箱即用的功能可以转换为 CSV。但是，您可以检查此答案以获取用户定义的 PTransform，该 PTransform 可应用于您的 PCollection 以便将字典数据转换为 csv 数据。